Refine Reset All
Sort by
Job Title
Job Type
Employer/Recruiter
Date Posted
Job Title
Location
Job Type
Employer/Recruiter
All Filters

Java Spark Jobs In Shanghai - 21 Job Positions Available

1 – 20 of 21 jobs
Papergames jobs

Java数据平台开发 上海 全职 平台类 职位描述 1. 参与叠纸大数据平台和数据中台建设;2. 参与构建流批一体的数据自助分析平台,支持业务方自助进行数据的快速定位和分析;3. 在传统大数据开发和数仓建模的基础上,探索创新的方案,构建自动化、智能化的建模引擎;4. 保证大数据平台相关服务的稳定性、高可用性,不断优化服务性能。 职位要求 1. 计算机相关专业本科以上学历,5年以上Java相关工作经验;2. 熟练使用常用的JAVA技术框架,并对JAVA Web的各种主流框架如Spring、SpringBoot、MyBatis、Kafka等有深入的应用和优化经验,掌握它的原理和机制;3. 熟练掌握微服务开发和架构设计,有大型复杂业务系统架构设计经验者优先;4. 熟悉一种或多种大数据相关组件者优先,比如:Flink,Spark,Hive,元数据管理等,对组件的原理有深入的了解;5. 具有良好的学习能力、团队协助以及沟通能力,执行力强,对工作有责任心,具备良好的规划、沟通以及协调能力;6. 有数据类产品落地交付经验者优先。加分项:1. 了解python语言,有爬虫、pandas等开发经验更佳;2. 有阿里云平台DataWorks、Hologres、MaxCompute、ADB使用经验;3. 有DataX/HDFS/HIVE等开源工具实际生产使用经验者优先,熟悉源码实现者更佳;4. 有用skills提高开发效率落地场景的经验更佳。 投递...

Premium Full-time
Papergames  12 days ago
极兔速递 (J&T Express) jobs

【集团】数据工程师-数据驾舱上海全职职位描述1、本科及以上学历,3年及以上大数据相关开发经验;2、熟悉大数据实时计算生态体系,对hdfs、flink、spark等有深入理解;3、有flink,数据库,sql查询优化,性能优化相关经验者优先;4、优秀的业务理解能力、逻辑性和沟通能力,能跨部门合作沟通;职位要求1、深入理解流式sql原理及应用场景,并实现完备的流式sql功能;2、负责流式sql查询优化、运行时优化、问题诊断及分析等;3、负责流计算引擎flink的调度优化、执行优化,支撑高吞吐、大状态作业的稳定运行;4、负责实时计算在业务上的应用,如实时多维分析、实时异常监控排查等;5、负责业务线实时数仓的规划、设计以及建设;6、熟练掌握至少一种编程语言(如Java、Scala)。投递...

Premium Full-time
极兔速递 (J&T Express)  25 days ago
Coupang jobs

Please complete the attached Internal TransferRequest Formand submit. Please make sure to apply with your Coupang e-mail address. Company Introduction We exist to wow our customers. We know we’re doing the right thing when we hear

Coupang  20 days ago
小米科技 Xiaomi Technology jobs

大数据开发工程师-汽车专项-实习上海校招实习软件研发类职位描述方向一:1.负责智能网联平台大数据需求分析、输出技术方案、数据开发工作;2.参与智能网联平台整车数仓建设及数据集市建设(数据ETL、数据建模、指标开发);3.参与智能网联平台大数据平台建设(离线/实时计算、数据质量、数据可视化、数据服务开发);4.负责智能网联大数据应用功能模块部署上线、线上问题分析、跟踪解决。方向二:负责电驱,电池,热管理等动力零部件的用户画像负责动力零部件的大数据健康监控和分析负责动力零部件的大数据转化,生成加速试验工况负责测试数据的云端自动化分析等处理分析任务职位要求1.计算机、软件工程、数据科学、统计学相关专业;2.熟练掌握SQL语言,熟练掌握Spark SQL&Spark离线计算、Flink实时计算技术优先;3.掌握数据仓库基本概念(如星型模型、雪花模型、数据分层),有数据仓库建模或ETL开发经验者优先;4.掌握Python编程语言,熟悉Pandas、NumPy等数据处理库,掌握一定的机器学习、深度学习算法,了解LLM相关知识&Java编程语言是加分项;5.有良好的沟通能力,能高效完成安排的工作;投递...

Premium Full-time
小米科技 Xiaomi Technology  17 days ago
FedEx Express jobs

At FedEx Express, we believe that a connected world is a better world. We connect people and possibilities with our diverse portfolio of transportation, e-commerce, and business solutions. Today, our networks reach more than 220 countries

FedEx Express  12 days ago
Papergames jobs

资深大数据开发 上海 全职 平台类 职位描述 1、负责离线和实时数据仓库的搭建与优化,保障数据的准确、完整和高效可用;2、根据业务需求设计合理的数据模型,开发高效ETL流程,进行数据分层与数据治理;3、跟进数据产品在业务场景中的落地,开发数据应用和分析工具,提升数据服务的易用性和价值;4、负责大数据平台和任务的性能调优、解决各类技术难题,保障系统的稳定与高效运行;5、深入理解游戏业务,对接业务部门,制定并实现复杂业务的数据解决方案;6、持续跟踪大语言模型等前沿技术发展,将数据开发能力转化为可落地的智能化实践经验。 职位要求 1、本科及以上学历,计算机、软件工程、数据分析或相关专业,5年以上大数据开发经验;2、精通Java、Python等至少一门编程语言,扎实的代码功底和算法能力;3、熟练掌握Hadoop、Hive、Spark、Flink、Kafka等大数据生态组件,有阿里云Maxcompute、ADB开发经验者优先;4、熟悉数据仓库理论体系,分层设计与维度建模,有PB级数据处理经验者优先;5、业务理解能力强,能够独立对接复杂业务需求,善于沟通和团队协作;6、逻辑思维强,有良好的技术敏感度和学习驱动力,抗压能力强,有责任心和团队合作精神;7、熟悉大语言模型等前沿技术,具备大语言模型等前沿技术应用能力。 投递...

Premium Full-time
Papergames  12 days ago
BOKE Technology Co., Ltd jobs

AI算法工程师 上海 全职 互联网 / 电子 / 网游 职位描述 职位描述1. 专注游戏场景下的算法研发工作,深耕用户增长、因果推断、归因分析、个性化体验流设计及商业化活动/道具智能推荐等方向,驱动产品核心指标提升;2. 基于业务数据洞察,结合游戏生态特性定义可量化的算法优化目标,设计高落地性方案并推动实施,为项目创造显著商业价值;3. 持续关注AI领域前沿技术动态,探索其在游戏场景的创新应用,推动技术成果转化与工程化落地;4. 深度联动产品、运营团队,通过玩家行为建模与多维度分析,制定精细化算法策略,构建快速迭代机制以持续优化效果。 任职要求1. 计算机、数学、统计学等相关专业本科及以上学历,3年以上算法研发经验,具备独立负责项目的能力;2. 精通Python编程,具备扎实的代码功底与工程实现能力,掌握C/C++或Java者优先;3. 对游戏行业有浓厚兴趣,具备敏锐的业务洞察力,拥有游戏算法成功落地经验者优先;4. 在机器学习、深度学习、数据挖掘、自然语言处理或多模态技术等领域有深入研究,需提供相关项目案例及成果说明;5. 熟悉分布式数据处理框架,对流式计算有实践经验,熟练运用Hadoop/Spark/Flink等大数据工具进行数据建模与分析优先考虑。我们秉承“BE WILD. BE FREE.”的品牌主张,坚持始终创业、简单务实、开放包容、勇于担当的文化理念。在这里——【态度】我们讲求自驱,不设边界,没有人能定义你的舞台和天花板;【氛围】内部真·扁平,新人的意见、不同的观点都有可能成为波克前行的关键;【成长】入职即有指导人和成长伙伴双cover,内部分享+外聘大神助你突破自我;【生活】一日三餐下午茶,房补公寓任你选,节日社团境外游.让游戏不只是工作,更是你的生活! 投递...

Premium Full-time
BOKE Technology Co., Ltd  12 days ago
得物App jobs

大数据引擎研发专家 上海、杭州 全职 研发 - 大数据 技术类 职位描述 1、【引擎研发】负责Spark、Flink为基础的大数据引擎内核研发,跟进社区版本,改进性能,提升稳定性,研发新功能,修复内核BUG;2、【业务支撑】负责排查、定位、解决生产集群问题,与运维同学一起维护生产集群的稳定性,协助业务方一起使用好大数据平台;3、【平台规划】参与规划公司计算平台的技术演技,提升计算平台湖仓能力,基于云IAAS或者自建IAAS,打造高稳定性、高性能、低成本的计算平台。 职位要求 1、【工程能力】扎实的计算机基础和算法数据结构功底,精通Java/Scala语言,如并发编程和JVM、常见设计模式,追求高标准的工程质量,具备优秀的Debug/Profiling能力;2、【领域能力】在大数据离线计算领域2年以上的研发经验,大数据领域5年以上研发经验,有研发过Spark/Presto/Flink/Hadoop或类似分布式计算引擎者优先,向社区贡献过Patch 者优先,并有规模落地Hadoop平台经验优先;3、【以技为本】对技术有热情,愿意不断尝试新技术和业务挑战,具备主人翁精神和团队精神、良好的沟通协调能力,有责任感、结果导向、较强的推动执行落地能力。 投递...

Premium Full-time
得物App  12 days ago
得物App jobs

营销算法资深开发工程师/技术专家 杭州、上海 全职 研发 - 后端开发 技术类 职位描述 致力于构建得物高可用、高扩展的智能营销基础设施,打造新一代优惠券智能发券能力,通过系统架构创新支撑精细化策略落地,保障海量用户场景下的实时决策与资金安全。岗位职责:1. 负责优惠券智能发放系统的架构设计与核心模块开发,支撑海量发放请求的毫秒级响应;2. 建设策略工程化平台,实现算法团队定价模型、运筹优化、预算分配策略的快速迭代与AB实验;3. 保障智能发券系统的稳定性,解决高并发场景下的错发/超发/少发问题,保障系统可用性及营销资金安全;4. 攻关性能瓶颈,通过JVM调优、缓存架构优化、异步化改造等手段提升系统吞吐量。 职位要求 1. 计算机相关专业本科以上学历,2年以上Java开发经验,有智能化营销系统建设经验;2. 精通高并发系统设计,掌握分布式锁、熔断降级等实战方案,有日活千万级系统开发经验;3. 熟练使用Kafka/RocketMQ、Redis集群等中间件,具备复杂业务场景的技术选型能力;4. 掌握Flink/Spark Streaming实时计算技术,主导过实时决策系统开发;5. 具备强技术产品思维,能将业务需求转化为可落地的技术方案;加分项:- 有一定的搜索、推荐、营销以及运筹优化相关知识- 有优惠券/会员/积分等电商营销系统开发经验- 熟悉资金安全体系设计(如预算控制、幂等防重、对账稽核)- 熟悉Groovy/QLExpress等规则引擎开发经验 投递...

Premium Full-time
得物App  12 days ago
得物App jobs

搜索算法专家(社区) 上海、北京 全职 研发 - 算法 技术类 职位描述 【团队介绍】得物社区搜索致力于打造年轻人消费决策首选的内容搜索平台,是得物app及社区内容消费的重要入口。当前团队聚焦在搜索全链路的优化,包括多模态语义匹配、个性化排序、内容质量、搜索增长等方向,持续提升搜索体验和规模,帮助用户更高效地发现有用内容完成决策,构建良性的社区内容生态循环。团队成员来自国内一线互联网公司,核心骨干经验丰富,同时也聚集了一批具备快速成长潜力的年轻算法工程师,整体风格开放、高效、注重技术钻研与业务交付能力,致力于构建兼具深度与活力的搜索技术团队。当下正值搜索能力升级与大模型技术融合的关键期,团队拥有良好的技术氛围和充足的资源投入,欢迎对搜索/大模型技术理解深刻、热爱改进用户体验、具备技术探索精神的你加入,共同打造下一代社区搜索系统。职位描述1. 协同产运业务团队,共同定义搜索体验演进方向,围绕社区用户需求与内容生态特点,推进相关性匹配、内容质量、个性化优化、意图激发等关键能力落地,提升搜索场景在内容消费与用户决策中的价值,完成整体业务目标;2. 负责搜索系统的全链路建设与优化,包括召回、排序、重排、相关性、搜索增长等核心模块。重点方向涵盖多模态语义匹配、 内容质量、用户全域全周期个性化建模、全链路一致性/多目标建模等;3. 深入探索基于大模型的搜索优化路径,结合搜索及社区图文视频数据,推动多模态理解匹配、意图理解、生成式召回等新技术的工程化实践,实现前沿算法与复杂业务场景的高效结合;4. 参与跨团队协作,推动跨部门项落地,在与工程、数据等团队的高效配合中,扩大影响力;同时在团队内部推动协作规范、知识沉淀与技术氛围建设,帮助团队能力持续进步。 职位要求 1. 本科及以上学历,计算机相关专业背景,具备扎实的工程与算法基础。有搜索、推荐、广告、NLP等方向实践经验;2. 具备良好的编程能力与系统思维,熟练掌握主流编程语言(至少 Python / C++ / Java其中一种),具备扎实的计算机基础知识(如操作系统、数据结构等);3. 熟悉传统机器学习与深度学习核心方法,掌握GBDT、BERT、LLM、CTR/CVR预估等关键技术路径,熟练使用 TensorFlow、PyTorch 等深度学习框架;4. 具有良好的数据理解能力和问题分析能力,擅长问题拆解/日志分析/链路debug等,熟悉 Spark/ODPS 等常用数据处理工具;5. 具备技术好奇心与自我驱动能力,关注技术长期价值,有独立探索和推动复杂问题的能力;6. 在国际顶会(如 SIGIR/KDD/NeurIPS/AAAI 等)发表论文、在开源项目中有持续贡献、在算法/编程类竞赛中取得优异成绩者优先。 投递...

Premium Full-time C++ Python
得物App  12 days ago
得物App jobs

机器学习平台工程师/专家 北京、上海 全职 研发 - 机器学习 技术类 职位描述 1、负责一站式机器学习平台的设计和开发,覆盖算法研发全流程(数据、训练、模型管理、在线部署、资源管理等);2、针对异构算力、多地域、多云环境,提供任务和服务的资源调度编排能力;3、持续针对系统进行优化,提升算法全流程迭代效率、资源利用效率;4、负责平台线上环境的实时监控、故障定位与性能调优,保障平台的稳定性。 职位要求 1、具备扎实的编程基础,熟练掌握Golang/Java/Python之一;2、对分布式系统或后端服务研发有深刻理解,有较强抽象能力,有大型系统开发经历;3、熟练应用AI或BigData相关框架,如:TensorFlow/PyTorch/KubeFlow/Ray/Spark/Flink等4、具备独立解决问题的能力,良好的团队合作精神;5、本科及以上学历优先,工作经验3年以上优先。加分项:1、有搜索/广告/推荐/大模型 MLOps系统经验者优先;2、有一站式机器学习平台产品设计经验者优先;3、熟悉机器学习、深度学习算法,希望从事系统架构者优先;4、有开源项目贡献代码者优先。 投递...

Premium Full-time
得物App  12 days ago
得物App jobs

推荐算法专家(社区) 上海、北京 全职 研发 - 算法 技术类 职位描述 【团队介绍】得物社区推荐算法团队负责得物app中得物推荐页的内容推荐业务,直接优化得物社区流量的推荐算法策略和模型效果。我们的工作内容包含推荐漏斗的大规模推荐算法优化,包括但不限于召回、粗排、精排、重排算法和模型优化以及多模态、生成式推荐技术优化。团队由来自不同背景的优秀同学组成,具备深厚理论基础和丰富行业实践经验。 (包括来自国内外知名大厂的前员工、推荐/广告/搜索算法领域的的专家等),也有许多年轻高潜、成长迅速的superstar(清北复交等top学校的候选人)。团队技术氛围良好,既有充分的自由度进行前沿技术探索,又有大规模的业务场景进行落地验证,团队近年已有一些成果发表在SIGIR、AAAI、ACM MM、CIKM等顶会上。团队整体核心业务稳定,创新场景丰富,成长空间巨大,亟待更多优秀的同学加入做更多有挑战的事!职位描述1. 负责信息流推荐的业务推荐算法工作,深入理解社区推荐业务形态。和产品运营一起制定业务目标和推荐策略,推进业务增长和前沿技术落地,完成整体业务目标;2. 研究方向包括信息流推荐的召回、粗排、精排、重排等算法方向的算法优化,包括不限于图神经网络学习、多模态/大模型推荐技术、多目标优化、生成式推荐等方向的研究;3. 深入参与深度学习技术研究方向,解决具体业务问题的同时,形成完整的方法论和创新的idea;4. 组织推进组内以及跨部门合作项目,帮助团队进步和新人成长。 职位要求 1. 本科及以上学历,具有推荐、广告、搜索算法、用户增长等领域的实践经验;2. 掌握扎实的计算机科学基础知识 (数据结构/算法/网络等) ,具备优秀的编码能力 (至少熟练掌握 C++/Java/Python 等一种主流开发语言);3. 掌握机器学习的理论基础,熟悉经典的算法模型 (GBDT/LR/FM/DNN等) 和相关工具框架 (Tensorflow/PyTorch等);4. 具有敏锐的数据分析和洞察能力,熟悉常见的大数据开发工具(Spark/Hive/Hadoop等);5. 具有出色的解决问题能力、良好的理解沟通能力和优秀的团队合作意识,有激情、不畏难、乐于挑战;6. 有学术成果优先,如KDD、SIGIR、AAAI、CIKM、ICDM等国际会议上发表过论文。 投递...

Premium Full-time
得物App  12 days ago
得物App jobs

【质量平台】测试开发专家(算法/数据) 上海、杭州 全职 研发 - 测试 技术类 职位描述 1.参与搜索、推荐业务产品需求和架构设计评审,关注产品设计与架构的合理性、可测性,能快速深入理解系统架构及实现原理,有对测试需求做透彻分析的能力;2.设计合理的测试策略,参与到具体的测试执行工作中,并进行缺陷跟踪和质量分析等,能引入比较好的思想和方法,保证产品的质量;3.保证被测系统的质量,并通过流程推动、策略、方法和工具等创新,努力提升研发的质量和效率;4.负责所在方向持续交付的多级流水线落地,并根据质量效率指标对整个研发流程进行改进;5.能在工作过程中持续的进行总结与分享; 职位要求 1.计算机或其他相关专业本科及以上学历,5年以上测试经验;2.具备扎实的计算机基础,熟悉Java/python/Scala等至少一门编程语言,具备良好的代码能力;3.精通多种软件测试方法,如:单元测试、接口测试、自动化测试、性能测试;4.有较好的自动化搭建经验,对持续集成、持续交付有较好的理解;5.良好的沟通能力和团队协作能力,能从整体视角出发,对研发流程和研发效率的改善提出方案并落地实施;6.有搜索、推荐、广告引擎测试经验者,以及算法模型测试经验者优先;7.对spark/strom/flink有使用经验,了解hdfs,mr,hive,kafka,RMQ,Redis,ES等优先。 投递...

Premium Full-time
得物App  12 days ago
得物App jobs

数据湖引擎研发专家 上海、杭州 全职 互联网 / 电子 / 网游 - 研发 技术类 职位描述 1、深度参与数据湖存储内核的架构设计与研发,包括分布式日志、列式流存储、KV存储、存算分离架构等;2、在得物打造数据湖产品服务,支撑大规模商业化落地;3、构建“湖流一体”的数据标准和生态,推动 Flink、Spark、StarRocks、Trino 等开源引擎的深度集成。 职位要求 1、具备3年以上大数据计算引擎、数据库内核或分布式系统研发经验,具备复杂系统架构设计与技术攻坚能力;2、熟悉分布式存储、日志系统(如 Kafka、Pulsar)、KV系统(如HBase)、数据湖存储(如 Paimon、Iceberg)等技术原理,有内核开发经验者优先;3、扎实的计算机系统基础与编程能力,精通 Java 或 C++/Rust 系统开发经验者优先;4、具备强烈的技术热情、ownership 和工程落地能力;具备良好的团队协作与跨团队沟通能力,能够在多方协作环境中高效推进技术方案落地;5、有开源项目贡献经验者优先。 投递...

Premium Full-time Java
得物App  12 days ago
Bambu Lab jobs

数据平台架构师 热招 上海、杭州 全职 研发 职位描述 1、负责企业级大数据平台体系的建设,设计高可用、高性能、稳定可靠的数据平台架构方案,支撑企业级数据仓库和数据治理的落地,保障平台稳定高效运行、支撑业务发展; 2、负责数据平台整体技术架构体系的建设和优化,包括括数据湖、数据仓库、数据中台、实时计算平台等核心组件的规划与建设改进数据研发流程,提升数据研发质量;3、完善数仓的数据合规建设,优化数仓存储计算性能;4、作为技术领域专家,制定团队技术规范、开发标准和最佳实践,承担技术难题攻关,跟踪行业前沿技术趋势,持续驱动技术创新。 职位要求 1、计算机相关专业本科及以上学历,5年以上数据平台研发经验。 2、精通数据平台和仓库建设理论,有企业级数据仓库搭建和数据治理经验。 3、对批流一体、数据湖等业内前沿方向有深刻理解,有实际落地经验者优先。 4、熟悉大数据生态相关技术,如Hive、Doris、ClickHouse、iceberg、HBase、Spark、Flink、Kafka等,另外熟悉SQL、Python、Java、Go等编程语言 5、有Linux系统的基础运维能力,熟悉K8S容器编排基本概念、原理、组件、工具 。6、良好的业务理解力,较强的自驱力,热爱技术,结果导向。 投递...

Premium Full-time
Bambu Lab  11 days ago
Transsion jobs

高级数据开发工程师 上海 社招 全职 互联网 / 电子 / 网游 职位描述 职责:1、负责离线数据仓库,搭建数据架构和模型,保障数据准确、一致和稳定,包括数据清洗、模型设计、数据治理和稳定性保障;2、负责数据分析产品建设,包括指标体系,画像标签体系建设,多维分析,ab实验,满足数据在各业务场景的需求;3、深入理解业务,根据业务发展阶段和需求,提供系统性的解决方案并落地。 职位要求 职位要求1、较为丰富的数仓设计&开发经验,具备离线/实时数据处理能力,有海量数据实时处理经验优先;2、熟悉Hadoop/Spark/Flink生态相关技术,具备一定的JAVA、Scala、Python语言的开发能力,能够结合多技术栈的优势提出业务解决方案;3、对数据敏感,具备良好的业务理解能力,通过数据体系与业务的结合,进行良好的数仓模型设计,保障稳定性和扩展性;4、有良好的逻辑思维性,有良好的抗压能力和自驱能力;5、有游戏行业从业经验优先; 投递...

Premium Full-time
Transsion  5 days ago
NIO jobs

数据仓库工程师 上海 社招 全职 职能与支持 - 数据分析 本科及以上 3-5 年 职位描述 1. 调研现有系统数据情况,并根据业务模块和需求,参与数据仓库设计与研发,建设电驱/电池工业化核心数据资产;2. 负责从多个系统及数据源进行数据获取,并根据数据标准同步至数据湖,保证数据的完整性和准确性;3. 负责不同技术场景下的数据获取和使用开发方案落地(实时、离线);4. 负责数据治理体系的完善和实施,打造稳定可靠的数据服务和保障体系;5. 与业务团队、算法团队、产品团队紧密合作,参与数据产品和应用的数据研发,与产品一起打造极致体验的数据产品。6. 负责数据化运营,沉淀算法和数据分析思路,协作并推动数据化运营项目落地; 职位要求 1. 计算机、软件工程、自动化等相关专业本科及以上;2. 3-7年大数据工程实施经验,数据仓库建模和开发,了解目前主流大数据技术,如流批一体、数据湖等;3. 熟练掌握hive、spark等大数据工具,具备海量数据加工处理(ETL)相关经验,具备丰富的优化经验。熟练使用Java、Python等语言,熟悉hive UDF开发;4. 能独立负责业务域数据仓库开发及维护、数据仓库模型、数据报表等工作内容;熟悉数据仓库模型设计,掌握常用数据建模方法;5. 熟悉数据治理方法论、具备一定的数据治理经验;6. 较好的业务理解和数据洞察能力,能直接和业务对话,快速进行需求的理解和落地;7. 具有良好的团队合作和沟通能力,有很强的自驱力,能主动为结果负责; 投递...

Premium Full-time
NIO  4 days ago
NIO jobs

资深大数据平台开发工程师 上海、合肥 社招 全职 数字技术 本科及以上 5-7 年 职位描述 - 参与Agent-Native的数据平台整体架构设计与实现,构建全链路的数据开发与闭环的智能化落地;- 完善Data+AI的核心基础架构建设,负责湖仓一体和元数据管理体系建设,实现数据治理智能化;- 研究未来数据模型和计算存储框架的创新与落地,包括但不限于以下领域:统一数据目录管理,数据血缘权限建设,数据湖仓技术建设等;- 接受大数据平台系统设计与实现复杂度的挑战,分析和发现系统的优化点,负责推动系统的合理性、可靠性、可用性的提升;- 和开源社区保持交流,从社区引入对公司业务场景有帮助的特性与系统,或将内部研发的功能贡献到社区。 职位要求 - 计算机/应用数学等相关专业、全日制本科以上学历 ,5-10年工作经验;- 熟悉存储系统、分布式算法、计算机网络,理解大型分布式存储系统工作原理 ;- 熟悉Hadoop生态组件,对Hive以及Iceberg数据湖技术有过相关开发经验,并对计算引擎(Spark,Trino/Presto、Flink,Ray)有一定的实践;- 熟悉OLAP数据库(如:Clickhouse、Doris、Starrocks等),并对其中一些数据库有深入的实践 ; - 熟悉大数据云原生建设,有Spark/Flink on K8s的开发经验;- 精通Java或C++,熟悉多线程编程、网络编程,熟悉常见的数据结构和算法,具备快速学习能力,能快速掌握新的开源技术框架;- 优先考虑有DataWorks/DataLeap/WeData等类似的数据平台开发经验,或有Data Agent的开发经验 投递...

Premium Full-time
NIO  4 days ago
NIO jobs

智能辅助驾驶-仿真云平台软件研发工程师 上海 社招 全职 数字技术 本科及以上 7-10 年 职位描述 - 负责智能辅助驾驶仿真平台底层架构设计开发,构建高可用可扩展可维护仿真平台化服务- 负责集群资源管理与任务调度方案,构建高性能仿真计算能力,提升仿真任务吞吐/时延能力 职位要求 - 熟练掌握JAVA、GO、Python、Shell、C++等其他一种或多种编程语言- 熟悉后端开发技术栈:springmvc、mybatis、负载均衡(ngix、lvs)、消息队列、缓存(redis)、常用数据库(MySQL、MongoDB),并具有实战项目开发经验- 熟悉Docker、Kubernetes等容器化技术,并有实战项目经验优先考虑- 熟悉GPU虚拟化技术,并有实战项目经验优先考虑- 有分布式系统、分布式计算开发和使用经验,或大数据处理经验,如HBase、HDFS、Spark、Ray等,优先考虑- 熟悉Linux系统原理,对虚拟化技术有深入理解优先考虑- 具有较强的学习能力和意愿、理解能力、沟通和协作能力,有良好的自省能力和自驱能力 投递...

Premium Full-time
NIO  4 days ago
NIO jobs

知识平台算法专家(RAG & 知识图谱方向) 上海 社招 全职 数字技术 本科及以上 5-7 年 职位描述 岗位核心使命深度融合 LLM 与知识图谱技术,构建企业级 GraphRAG 架构。通过本体建模与高精度检索技术,解决大模型在复杂专业领域下的幻觉问题,打造工业级的知识服务引擎。主要职责RAG 架构优化:负责企业级 RAG(检索增强生成)系统的全链路研发。针对长文本及复杂知识,优化文档切片 (Chunking) 策略、多路召回 (Retrieval) 及 重排序 (Reranking) 算法,提升问答的准确性与归因能力。知识中枢建设:负责领域本体论 (Ontology) 建模,设计高扩展性的 Schema;利用 LLM 实现自动化知识抽取(实体、属性、三元组),构建高质量结构化知识库。底层存储与检索:负责基于 Milvus/Zilliz 的向量数据库与 Elasticsearch 的全文检索集成,设计向量-标量混合检索方案,优化海量数据的检索延迟与相关性。推理与应用落地:探索图增强检索(GraphRAG)、多步推理链(CoT)在知识平台中的应用,负责从非结构化数据到结构化知识转化的全流程算法迭代。 职位要求 1.

NIO  4 days ago

Subscribe for job alerts and resources to make your job search easier!

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

Receive the latest job openings for:

java spark jobs in shanghai

You also might be interested in:

开发工程师

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

All Filters Apply
Sort by
Job Title
Job Type
Employer/Recruiter