Refine Reset All
Recent Searches clear
Sort by
Employer/Recruiter
Experience
Salary Estimate
Date Posted
Job Type
Employer/Recruiter
Experience
Salary Estimate
All Filters

Python Spark Jobs In - 131 Job Positions Available

1 – 20 of 131 jobs
Man Group jobs

About Man Group Man Group is a global alternative investment management firm focused on pursuing outperformance for sophisticated clients via our Systematic, Discretionary and Solutions offerings. Powered by talent and advanced technology, our single and multi-manager

Man Group  25 days ago
智元创新(上海)科技有限公司 jobs

Python开发实习生 上海 实习 职位描述 参与云端数据处理管线的开发、维护与优化工作,协助完成数据从采集、处理到训练全链路的工程化落地;负责数据Pipeline相关模块的代码编写、单元测试与文档撰写,保障代码质量与可维护性;协助排查数据流转过程中的异常与性能瓶颈,参与日志分析、问题定位与修复工作;参与数据管线自动化工具与监控脚本的开发,提升数据运维效率。 职位要求 硕士在读,计算机、软件工程、人工智能等相关专业,每周至少实习4天,实习期3个月以上;扎实的Python编程基础,熟悉常用数据结构与设计模式,代码风格规范;了解数据处理基础流程,有ETL/数据Pipeline开发经验者优先;了解Docker、Kubernetes等容器化技术,有云端开发经验者优先;具备良好的学习能力与团队协作精神,对数据工程领域有热情。加分项了解Airflow、DolphinScheduler等工作流调度框架;了解Spark、Flink等大数据处理框架;了解Git协作开发与CI/CD流程;有开源项目贡献或技术博客者优先。 投递...

Premium Full-time
智元创新(上海)科技有限公司  20 days ago
NIO jobs

Super Sparks-校招-具身智能/机器人研究员(Embodied AI / Robotics Researcher) 上海 校招 正式 数字技术 - 算法 博士及以上 Super Sparks 招聘计划 职位 ID:A258152A 职位描述 -探索具身智能前沿技术,制定技术路线,统筹内部研发方向;-开发、微调视觉-语言-动作(VLA)大模型(如 RT-2、OpenVLA、Groot、pi0 等),实现环境理解、任务分解与动作生成;-设计基于 Transformer、Diffusion Policy 的抓取与运动规划算法,提升操作泛化性;-领导或参与核心算法研究,覆盖具身交互、感知、操作、仿真、训练等方向,提升具身能力与可靠性;-对特定场景使用仿真数据集或模型数据集强化训练,确保操作成功率;-在机器人平台部署 VLA 模型,通过模型量化、推理加速等方式提升整体执行效果;-推动相关工具建设,高效训练与验证部署,加快具身智能的产品化落地。 职位要求 -计算机/机器人/人工智能等相关领域硕士或博士;-精通 Python/C++,掌握 PyTorch/TensorFlow 框架;-深入理解强化学习基本原理与核心算法(PPO、SAC 等)及常用框架;-深入理解大模型(VLM、VLA)开发流程(训练、微调、部署),并有实际项目经历;-深入理解机器人学习算法,具备强化学习用于机器人领域的项目经验;-在顶会(CoRL、ICRA、IROS、CVPR、ICLR 等)发表具身智能或大模型相关论文优先;-具备 OpenVLA、Groot、pi0 等 VLA 模型应用经验优先;-具备模型量化(Quantization)、边缘部署经验优先;-有持续学习和创新精神,能自主、高效工作。 投递...

NIO  6 days ago
NIO jobs

Super Sparks-校招-机器人仿真系统研究员/工程师 上海 校招 正式 数字技术 - 算法 博士及以上 Super Sparks 招聘计划 职位 ID:A221758 职位描述 构建高保真仿真环境,实现算法高效训练与低成本迁移。- 搭建机器人仿真环境,包括传感器、执行器、交互对象及周围环境,模拟真实物理特性;- 构建泛化动态交互场景,支持算法训练;- 机器人算法的训练和验证:评估提供合适强化学习训练框架(如PPO/SAC),并验证训练算法在模拟环境中的效果;- 支持SimtoReal调试,根据实际差异,优化仿真参数;- 持续追踪仿真最新算法和技术,开展机器人仿真技术规划、仿真工具链建设; 职位要求 - 计算机/机器人/人工智能等相关领域的硕士或博士;- 熟悉Issac Lab、Mujoco等主流仿真平台,具备基于上述平台的环境搭建与测试能力;- 熟悉C++、Python,熟悉ROS/ROS2;- 熟悉机器人运动学、动力学,熟悉传感器内外参标定;- 具备移动机器人、机械臂仿真开发训练经验优先;- 具备SimtoReal经验优先;- 有持续学习和创新精神,能自主、高效工作。 投递...

NIO  6 days ago
NIO jobs

Super Sparks-校招-智能体Harness Engineering研究员/工程师 上海 校招 正式 数字技术 - 算法 硕士及以上 Super Sparks 招聘计划 职位 ID:A82261 职位描述 1.跟踪 AI4SE(AI for Software Engineering)与 Agent 领域的前沿方法(代码生成、智能测试、程序分析、故障诊断等),将其中已验证的方法在车载软件工程场景中工程化落地。2.主导 1~2 个落地课题,从原型验证推进到团队可日常使用的工具或流程。候选方向包括但不限于:车载 C++/AUTOSAR 代码生成与补全、测试自动化、OTA 版本集成与车端故障诊断智能体、全链路 Agent 化开发。3.与交付团队深度协作,确保落地产出真正服务于版本交付与质量目标,而非停留在 demo。4.持续沉淀落地经验,形成可复用的方法与工具,提升团队整体研发效能。 职位要求 计算机、软件工程或相关专业博士学位(应届毕业生)。研究方向为 AI4SE、代码智能、程序分析、软件测试自动化、大模型 Agent 之一,有论文或项目产出。扎实的工程能力(核心门槛):能独立完成系统设计与工程开发。熟悉大模型应用开发(Prompt、RAG、Agent 框架等),熟练掌握 Python /

NIO  6 days ago
Momenta jobs

后端开发实习生-python 北京 实习 互联网 / 电子 / 网游 日常实习生 职位描述 协助自动驾驶数据产线平台的搭建与开发协助数据产线平台的故障与问题排查协助前后端联调 职位要求 硕士及以上学历,实习6个月及以上 每周5天计算机、软件相关专业能快速理解业务需求,有产品原型设计能力熟悉Java、Python、Rust,以及相关开发框架有spark\trino\flink\hbase\es等数据引擎使用经验,源码阅读经验尤佳熟悉一种或多种数据存储与查询引擎(含数据库) 投递...

Premium Full-time
Momenta  6 days ago
NIO jobs

Super Sparks-校招-端到端大模型闭环数据迭代 上海、北京 校招 正式 数字技术 博士及以上 Super Sparks 招聘计划 职位 ID:A80761 职位描述 - 探索world action大模型预训练、后训练高效数据闭环迭代范式- 负责端到端大模型Policy、Env Generation、价值评估紧耦合的模型架构设计、训练及优化- 主导模型与数据结合的高效闭环训练、数据Scaling范式(预训练/SFT/RL)研究- 参与多任务、多Scenario 训练、Benchmark数据集制作及筛选,评测指标设计 职位要求 - 精通VLA/WA/WM算法的原理,熟练掌握大模型训练、微调方法;- 扎实的数学基础(概率统计、优化、图论);- 熟练掌握Python/C++编程及PyTorch/TensorFlow等深度学习训练框架;- (加分)发表过智能辅助驾驶 / 具身智能相关方向的高权重 / 高技术影响力论文,具备对世界模型的体系化认知能力;- (加分)在国内外顶尖高校实验室或企业核心模型团队参与数据Scaling工作;- 学历:博士 投递...

NIO  2 hours ago
NIO jobs

知识平台算法专家(RAG & 知识图谱方向) 上海 社招 全职 数字技术 本科及以上 5-7 年 职位描述 岗位核心使命深度融合 LLM 与知识图谱技术,构建企业级 GraphRAG 架构。通过本体建模与高精度检索技术,解决大模型在复杂专业领域下的幻觉问题,打造工业级的知识服务引擎。主要职责RAG 架构优化:负责企业级 RAG(检索增强生成)系统的全链路研发。针对长文本及复杂知识,优化文档切片 (Chunking) 策略、多路召回 (Retrieval) 及 重排序 (Reranking) 算法,提升问答的准确性与归因能力。知识中枢建设:负责领域本体论 (Ontology) 建模,设计高扩展性的 Schema;利用 LLM 实现自动化知识抽取(实体、属性、三元组),构建高质量结构化知识库。底层存储与检索:负责基于 Milvus/Zilliz 的向量数据库与 Elasticsearch 的全文检索集成,设计向量-标量混合检索方案,优化海量数据的检索延迟与相关性。推理与应用落地:探索图增强检索(GraphRAG)、多步推理链(CoT)在知识平台中的应用,负责从非结构化数据到结构化知识转化的全流程算法迭代。 职位要求 1.

NIO  15 days ago
NIO jobs

数据仓库工程师 上海 社招 全职 职能与支持 - 数据分析 本科及以上 3-5 年 职位描述 1. 调研现有系统数据情况,并根据业务模块和需求,参与数据仓库设计与研发,建设电驱/电池工业化核心数据资产;2. 负责从多个系统及数据源进行数据获取,并根据数据标准同步至数据湖,保证数据的完整性和准确性;3. 负责不同技术场景下的数据获取和使用开发方案落地(实时、离线);4. 负责数据治理体系的完善和实施,打造稳定可靠的数据服务和保障体系;5. 与业务团队、算法团队、产品团队紧密合作,参与数据产品和应用的数据研发,与产品一起打造极致体验的数据产品。6. 负责数据化运营,沉淀算法和数据分析思路,协作并推动数据化运营项目落地; 职位要求 1. 计算机、软件工程、自动化等相关专业本科及以上;2. 3-7年大数据工程实施经验,数据仓库建模和开发,了解目前主流大数据技术,如流批一体、数据湖等;3. 熟练掌握hive、spark等大数据工具,具备海量数据加工处理(ETL)相关经验,具备丰富的优化经验。熟练使用Java、Python等语言,熟悉hive UDF开发;4. 能独立负责业务域数据仓库开发及维护、数据仓库模型、数据报表等工作内容;熟悉数据仓库模型设计,掌握常用数据建模方法;5. 熟悉数据治理方法论、具备一定的数据治理经验;6. 较好的业务理解和数据洞察能力,能直接和业务对话,快速进行需求的理解和落地;7. 具有良好的团队合作和沟通能力,有很强的自驱力,能主动为结果负责; 投递...

Premium Full-time
NIO  15 days ago
Makro PRO jobs

We are seeking an experienced Senior Data Engineer to design, implement, and maintain our data infrastructure and pipelines. The ideal candidate will have a strong background in data engineering, big data technologies, and cloud platforms. You

Makro PRO  15 days ago
ByteDance jobs

Join the Innovative BytePlus Team As part of BytePlus, youll help enterprise customers build whats next for their business. Leveraging ByteDances cutting-edge technologies, we are devoted to developing innovative products and solutions to shape the future.

ByteDance  15 days ago
ByteDance jobs

Join the Innovative BytePlus Team! As part of BytePlus, youll help both enterprises and AI-native developers build whats next for their business. Leveraging ByteDances cutting-edge technologies in AI models, agent solutions and cloud infrastructure, we are

ByteDance  15 days ago
小米科技 Xiaomi Technology jobs

大数据开发工程师-汽车专项-实习 简历急缺 上海 校招 实习 软件研发类 职位描述 方向一:1.负责智能网联平台大数据需求分析、输出技术方案、数据开发工作;2.参与智能网联平台整车数仓建设及数据集市建设(数据ETL、数据建模、指标开发);3.参与智能网联平台大数据平台建设(离线/实时计算、数据质量、数据可视化、数据服务开发);4.负责智能网联大数据应用功能模块部署上线、线上问题分析、跟踪解决。方向二:负责电驱,电池,热管理等动力零部件的用户画像负责动力零部件的大数据健康监控和分析负责动力零部件的大数据转化,生成加速试验工况负责测试数据的云端自动化分析等处理分析任务 职位要求 1.计算机、软件工程、数据科学、统计学相关专业;2.熟练掌握SQL语言,熟练掌握Spark SQL&Spark离线计算、Flink实时计算技术优先;3.掌握数据仓库基本概念(如星型模型、雪花模型、数据分层),有数据仓库建模或ETL开发经验者优先;4.掌握Python编程语言,熟悉Pandas、NumPy等数据处理库,掌握一定的机器学习、深度学习算法,了解LLM相关知识&Java编程语言是加分项;5.有良好的沟通能力,能高效完成安排的工作; 投递...

Premium Full-time
小米科技 Xiaomi Technology  29 days ago
小米科技 Xiaomi Technology jobs

AIoT研发实习生-2027届 北京 校招 实习 软件研发类 职位描述 1. 协助开发面向 IoT 场景的 Agent 能力,包括任务拆解、工具调用、结果汇总与异常处理。2. 协助构建 Agent 工作流(如 ReAct / Plan-Execute),配合完成设备控制、状态查询、知识问答等场景的端到端联调。3. 参与 Prompt 设计与迭代,协助完成 Agent 的效果评测与问题复盘,持续优化响应质量与稳定性。4. 借助 AI 工具辅助编码,实现 IoT 场景相关功能开发,参与 AI 在 IoT 业务中的落地实践。5. 协助维护 Java/Python 相关后台接口,基于 Spring Boot

小米科技 Xiaomi Technology  29 days ago
Calix jobs

This position is based in Nanjing, China. We are seeking a staff engineer - solutions test based in Nanjing, China. Our team validates Calix Marketing Cloud which is an AWS/GCP based big data system. The successful

Calix  29 days ago
小米科技 Xiaomi Technology jobs

AI算法工程师-汽车专项-实习 AI人才专项 简历急缺 南京 校招 实习 软件研发类 职位描述 1.参与汽车智能应用相关算法方案设计、数据分析与迭代优化;2.负责算法工程落地,推理链路实现、模块集成、性能调优、联调定位、训练评估与效果提升;3.AI视觉模型开发与优化:基于主流算法,开发并优化针对实验室场景的视觉检测模型,确保满足实时、可靠的检测需求。内容涵盖警示灯识别、电压数值识别与读取、火灾检测、人员安全行为识别等任务;4.模型部署与性能优化:基于TensorRT、OpenVINO、ONNX等工具链,对训练完成的模型进行性能优化;独立完成模型部署接入与效果验证,保障模型在实际场景中稳定高效运行。5.技术对接与功能落地:配合研发团队完成模型与系统的接口封装、异常处理及联调测试等,确保AI模型功能与系统整体顺畅衔接,构建低延迟、高稳定性的实时检测系统。 职位要求 1.计算机、自动化、人工智能、数学/统计等相关专业,硕士及以上学历;基础扎实(数据结构与算法、线性代数、概率统计等)。有高质量开源/竞赛/论文或可复现的工程作品者优先。2.编程与工程能力强:熟练掌握 C/C++、Python、MATLAB、SQL 等至少一项;具备良好的工程化意识与编码习惯。有端侧部署优化经验(如 ONNX/TensorRT、量化/裁剪/加速、性能profiling)者优先。3.熟悉机器学习/深度学习完整流程:能独立完成数据处理、训练调参、评估与问题定位;掌握 PyTorch/TensorFlow 等至少一种框架;了解或使用过 AutoML/超参搜索工具者加分。具备大数据处理/特征生产经验(Spark/Flink/Hive 等)者优先。4.具备良好的沟通协作与自驱学习能力,能与产品、数据、平台与车端团队高效协作,推动算法从验证到上线的闭环落地。5.热爱技术,做事严谨,结果导向,能够在多任务与不确定性中保持交付质量与稳定节奏。 投递...

Premium Full-time
小米科技 Xiaomi Technology  29 days ago
FWD Insurance jobs

About FWD Group FWD Group (1828.HK) is a pan-Asian life and health insurance business that serves approximately 40 million customers across 10 markets, including BRI Life in Indonesia. FWD’s customer-led and tech-enabled approach aims to deliver

FWD Insurance  29 days ago
极佳科技 GigaAI jobs

具身智能数据工程师 北京 全职 互联网 / 电子 / 网游 职位描述 负责具身智能方向的数据平台建设,支撑机器人、多模态感知、语言理解、动作决策、任务规划等场景的数据生产、管理、流转与分析。设计并建设大规模多模态数据处理平台,覆盖视频、图像、语音、文本指令、传感器数据、机器人操作轨迹、环境状态、任务执行日志等数据类型。负责数据采集、清洗、标注、质检、版本管理、样本检索、数据回流等核心链路的平台化能力建设。建设面向模型训练的数据集管理能力,包括数据集构建、切分、去重、质量评估、元数据管理、血缘追踪与可复现训练数据交付。参与搭建具身智能数据闭环系统,支持模型训练、评测、仿真、真实机器人执行后的数据回收与持续迭代。与算法、机器人、仿真、标注、产品等团队协作,抽象共性数据需求,沉淀稳定、高效、可扩展的平台工具。负责数据平台的性能优化、稳定性建设、权限治理、成本优化和工程规范落地。 职位要求 本科及以上学历,计算机、软件工程、人工智能、自动化、机器人、电子信息等相关专业优先。具备扎实的数据工程或后端平台开发经验,熟悉 Python / Java / Go / Scala 中至少一种语言。熟悉大规模数据处理链路,了解 Spark、Flink、Kafka、Airflow、Ray、Hadoop、Hive、ClickHouse、ElasticSearch 等技术中的一种或多种。熟悉数据库、对象存储、消息队列、任务调度、数据湖或数据仓库等平台基础组件。有良好的平台化思维,能够将复杂业务流程抽象为稳定的数据模型、任务系统、服务接口和工具链。具备较强的数据质量意识,理解数据清洗、标注质检、样本治理、版本管理、数据血缘、权限控制等工程问题。有多模态数据、机器人数据、视频理解数据、仿真数据或大规模模型训练数据平台经验者优先。熟悉 Kubernetes、Docker、云原生架构、分布式任务调度或高性能计算平台者优先。具备良好的沟通协作能力,能够与算法、工程、产品和运营团队高效配合,推动复杂系统落地。有具身智能、机器人学习、VLA / VLM / 多模态大模型相关数据平台经验优先。有数据标注平台、数据闭环平台、模型训练数据平台、仿真数据平台建设经验优先。熟悉 ROS、机器人日志格式、传感器数据、轨迹数据、仿真环境或模型评测链路优先。有从 0 到 1 搭建数据平台或核心数据链路的经验优先。 投递...

极佳科技 GigaAI  22 days ago
BOKE Technology Co., Ltd jobs

数据分析师 上海 全职 互联网 / 电子 / 网游 职位描述 我们目前在研一款中东Domino游戏,(可以理解为过去的QQ游戏大厅,作为平台里面有不同游戏合集,包括Domino,Ludo,国际象棋等),目前是埃及游戏榜Top3!身为项目组的数据分析师,你会在项目中拥有较高的自主权和决定权。我们鼓励自己提出和把控方向而非单纯执行,也鼓励分析项目数据主动提出优化想法。我们希望在这里,你能快速接触和全面学习产品研发的过程和结果把控,并不断通过反馈正向积累数据经验,与大家共同成长!岗位职责:1、主导构建行为型 PLTV / 用户价值评估模型- 在低付费率场景下,基于用户行为数据定义用户价值指标- 设计特征体系、样本标签与评估方法,输出可运营的用户分层结果2、设计并迭代外挂 / 刷子识别与监控方案- 结合规则与数据建模手段,提升异常用户识别效果- 建设刷子监控看板,支持风控与运营策略3、建立优质用户识别与行为路径模型- 分析优质用户的共性特征与关键行为路径- 为增长策略、产品设计提供数据支持与建议4、推动分析与模型结果产品化- 设计并维护 PLTV 看板、用户分层视图、监控类报表- 确保数据结果可被业务理解、使用和持续跟进5、与用户增长、策划等角色深度协作- 从业务目标出发定义分析问题- 推动数据结论在策略中的实际落地与验证 任职要求:1、必须具备- 本科及以上学历,数学 / 统计 / 计算机 / 数据相关专业优先- 精通

BOKE Technology Co., Ltd  22 days ago
爱奇艺 iQIYI jobs

反作弊算法工程师 北京 社招 全职 技术 - 算法 职位 ID:A117785 职位描述 支持爱奇艺全域流量及推广渠道的反作弊体系。通过技术手段实现对虚假流量的检测和过滤,保障爱奇艺站内数据的真实性和渠道营销的可靠性。核心职责 :-风险识别:利用机器学习、深度学习、大模型等技术,构建针对流量异常和渠道作弊的识别模型-反作弊策略制定:通过分析作弊目标(渠道、分账、广告分成)和作弊手段(如代理 IP、模拟器、云手机),制定并落地覆盖全链路的反作弊规则策略-反作弊效果评估:搭建完善的反作弊效果评估体系,评估其在流量和渠道方向的 ROI,并根据效果推进其在业务层面进行整改-反作弊能力建设:构建完善的反作弊特征库,利用离线和实时处理技术支持实时反作弊和离线反作弊,提升识别的实时性和准确率 职位要求 -教育背景:计算机、信息类等相关专业硕士及以上-开发技能:熟练掌握 Java、Python、SQL/Hive 等计算机语言,熟悉 Hive、Spark、Flink 等 Hadoop 生态,具备大规模海量数据处理能力,有实时计算经验者优先-算法能力:熟练掌握基础的机器学习算法,如:LR、RF、GBDT、XGBoost等,有使用异常检测算法、图分析、深度学习等优先;-综合素质:具备高度的数据洞察和逻辑推理能力,能够从海量数据中捕捉到细微的数据异常并分析数据异常的原因,具备高效的沟通能力,能与各业务方沟通解决业务对反作弊的核心述求并推进实施;-反作弊经验:了解广告生态和归因逻辑,了解常见的作弊手段,了解黑产供应链者优先。 投递...

Premium Full-time Hadoop
爱奇艺 IQIYI  22 days ago

Subscribe for job alerts and resources to make your job search easier!

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

Receive the latest job openings for:

python spark jobs in china

You also might be interested in:

实习生

开发工程师

Consultant

Data Engineer

AI

Apache Spark

ETL

Data Engineering

Big Data

研发工程师

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

All Filters Apply
Sort by
Employer/Recruiter
Experience
Salary Estimate