Refine Reset All
Sort by
Job Title
Employer/Recruiter
Experience
Date Posted
Job Title
Skills
Location
Job Type
Employer/Recruiter
Experience
All Filters

Python Etl Jobs In Shanghai - 27 Job Positions Available

1 – 20 of 27 jobs
智元创新(上海)科技有限公司 jobs

Python开发实习生 上海 实习 职位描述 参与云端数据处理管线的开发、维护与优化工作,协助完成数据从采集、处理到训练全链路的工程化落地;负责数据Pipeline相关模块的代码编写、单元测试与文档撰写,保障代码质量与可维护性;协助排查数据流转过程中的异常与性能瓶颈,参与日志分析、问题定位与修复工作;参与数据管线自动化工具与监控脚本的开发,提升数据运维效率。 职位要求 硕士在读,计算机、软件工程、人工智能等相关专业,每周至少实习4天,实习期3个月以上;扎实的Python编程基础,熟悉常用数据结构与设计模式,代码风格规范;了解数据处理基础流程,有ETL/数据Pipeline开发经验者优先;了解Docker、Kubernetes等容器化技术,有云端开发经验者优先;具备良好的学习能力与团队协作精神,对数据工程领域有热情。加分项了解Airflow、DolphinScheduler等工作流调度框架;了解Spark、Flink等大数据处理框架;了解Git协作开发与CI/CD流程;有开源项目贡献或技术博客者优先。 投递...

Premium Full-time
智元创新(上海)科技有限公司  21 days ago
NIO jobs

数据仓库工程师 上海 社招 全职 职能与支持 - 数据分析 本科及以上 3-5 年 职位描述 1. 调研现有系统数据情况,并根据业务模块和需求,参与数据仓库设计与研发,建设电驱/电池工业化核心数据资产;2. 负责从多个系统及数据源进行数据获取,并根据数据标准同步至数据湖,保证数据的完整性和准确性;3. 负责不同技术场景下的数据获取和使用开发方案落地(实时、离线);4. 负责数据治理体系的完善和实施,打造稳定可靠的数据服务和保障体系;5. 与业务团队、算法团队、产品团队紧密合作,参与数据产品和应用的数据研发,与产品一起打造极致体验的数据产品。6. 负责数据化运营,沉淀算法和数据分析思路,协作并推动数据化运营项目落地; 职位要求 1. 计算机、软件工程、自动化等相关专业本科及以上;2. 3-7年大数据工程实施经验,数据仓库建模和开发,了解目前主流大数据技术,如流批一体、数据湖等;3. 熟练掌握hive、spark等大数据工具,具备海量数据加工处理(ETL)相关经验,具备丰富的优化经验。熟练使用Java、Python等语言,熟悉hive UDF开发;4. 能独立负责业务域数据仓库开发及维护、数据仓库模型、数据报表等工作内容;熟悉数据仓库模型设计,掌握常用数据建模方法;5. 熟悉数据治理方法论、具备一定的数据治理经验;6. 较好的业务理解和数据洞察能力,能直接和业务对话,快速进行需求的理解和落地;7. 具有良好的团队合作和沟通能力,有很强的自驱力,能主动为结果负责; 投递...

Premium Full-time
NIO  15 days ago
Makro PRO jobs

We are seeking an experienced Senior Data Engineer to design, implement, and maintain our data infrastructure and pipelines. The ideal candidate will have a strong background in data engineering, big data technologies, and cloud platforms. You

Makro PRO  15 days ago
小米科技 Xiaomi Technology jobs

大数据开发工程师-汽车专项-实习 简历急缺 上海 校招 实习 软件研发类 职位描述 方向一:1.负责智能网联平台大数据需求分析、输出技术方案、数据开发工作;2.参与智能网联平台整车数仓建设及数据集市建设(数据ETL、数据建模、指标开发);3.参与智能网联平台大数据平台建设(离线/实时计算、数据质量、数据可视化、数据服务开发);4.负责智能网联大数据应用功能模块部署上线、线上问题分析、跟踪解决。方向二:负责电驱,电池,热管理等动力零部件的用户画像负责动力零部件的大数据健康监控和分析负责动力零部件的大数据转化,生成加速试验工况负责测试数据的云端自动化分析等处理分析任务 职位要求 1.计算机、软件工程、数据科学、统计学相关专业;2.熟练掌握SQL语言,熟练掌握Spark SQL&Spark离线计算、Flink实时计算技术优先;3.掌握数据仓库基本概念(如星型模型、雪花模型、数据分层),有数据仓库建模或ETL开发经验者优先;4.掌握Python编程语言,熟悉Pandas、NumPy等数据处理库,掌握一定的机器学习、深度学习算法,了解LLM相关知识&Java编程语言是加分项;5.有良好的沟通能力,能高效完成安排的工作; 投递...

Premium Full-time
小米科技 Xiaomi Technology  29 days ago
AUMOVIO jobs

Company Description Since its spin-off in September 2025 AUMOVIO continues the business of the former Continental group sector Automotive as an independent company. The technology and electronics company offers a wide-ranging portfolio that makes mobility safe,

AUMOVIO  26 days ago
Coins.ph jobs

Join Our Business Intelligence Team Were looking for a talented Business Intelligence (BI) Analyst to join our growing BI team. In this role, youll work closely with Product, Operations, Payment, Finance, Risk, and Data Engineering to

Coins.ph  21 days ago
Papergames jobs

资深大数据开发 上海 全职 平台类 职位描述 1、负责离线和实时数据仓库的搭建与优化,保障数据的准确、完整和高效可用;2、根据业务需求设计合理的数据模型,开发高效ETL流程,进行数据分层与数据治理;3、跟进数据产品在业务场景中的落地,开发数据应用和分析工具,提升数据服务的易用性和价值;4、负责大数据平台和任务的性能调优、解决各类技术难题,保障系统的稳定与高效运行;5、深入理解游戏业务,对接业务部门,制定并实现复杂业务的数据解决方案;6、持续跟踪大语言模型等前沿技术发展,将数据开发能力转化为可落地的智能化实践经验。 职位要求 1、本科及以上学历,计算机、软件工程、数据分析或相关专业,5年以上大数据开发经验;2、精通Java、Python等至少一门编程语言,扎实的代码功底和算法能力;3、熟练掌握Hadoop、Hive、Spark、Flink、Kafka等大数据生态组件,有阿里云Maxcompute、ADB开发经验者优先;4、熟悉数据仓库理论体系,分层设计与维度建模,有PB级数据处理经验者优先;5、业务理解能力强,能够独立对接复杂业务需求,善于沟通和团队协作;6、逻辑思维强,有良好的技术敏感度和学习驱动力,抗压能力强,有责任心和团队合作精神;7、熟悉大语言模型等前沿技术,具备大语言模型等前沿技术应用能力。 投递...

Premium Full-time
Papergames  21 days ago
智元创新(上海)科技有限公司 jobs

具身智能算法实习生(数据闭环与评测方向) 上海 实习 职位描述 1. 参与数据全生命周期闭环链路的开发与优化,协助打通数据采集、清洗、标注、训练接入、评测验证、数据回流的完整流程。2. 参与评测体系建设,包括仿真评测链路搭建、评测指标设计与实现、自动化评测工具开发。3. 参与数据管理工具链开发,包括数据版本管理、质量筛选、配比策略、数据有效性验证等功能模块。4. 理解具身智能算法(VLA / RL / IL 等)的训练流程与数据需求,参与基于算法特性的数据供给方案设计与实现。5. 参与上下游数据链路的对接与调试,协助打通数据平台、标注平台、仿真平台与训练框架的数据流转。6. 参与数据质量分析与可视化工具开发,辅助数据分布分析、异常检测、数据漂移监控等数据质量保障工作。 职位要求 - 计算机、AI 等相关专业硕士在读或优秀本科生。- 熟悉 Python,有数据处理相关项目经验(Pandas / NumPy / 数据可视化等)。- 对数据全生命周期(采集、清洗、标注、管理、使用、评估)有基本认知,对数据挖掘、数据分析有基础理解或强烈兴趣。- 对深度学习算法有基本了解,熟悉常见模型的训练流程与数据需求。- 具备良好的工程意识与代码规范,愿意深入理解数据链路与系统架构。- 实习 3 个月以上优先,能长期实习更佳。加分项- 有仿真环境使用经验(Isaac / ManiSkill / RoboSuite

Premium Full-time ETL NumPy
智元创新(上海)科技有限公司  21 days ago
智元创新(上海)科技有限公司 jobs

AI数据开发实习生 上海 实习 职位描述 需求辅助工作:跟随导师参与业务需求调研、业务场景梳理,协助拆分业务逻辑、编写数据需求初稿;协助整理 AI 智能化落地项目资料,学习业务转数据需求思路。数仓 & ETL 辅助开发:协助正式工程师完成数仓基础维护、数据表梳理、ETL 任务调试、数据血缘梳理;参与 AI 项目原始数据归集、数据清洗、特征预处理、训练数据集整理等工作。可视化报表支撑:使用 FineBI/Tableau/PowerBI 协助制作、校验、迭代业务报表与数据看板,核对报表数据;辅助 AI 智能预警、智能分析类可视化产品的数据测试与落地。数据质量管控:按规范执行数据质量巡检,记录数据异常问题,跟进问题整改跟进;协助完善 AI 训练数据集、推理数据的质检规范与落地校验。跨团队协作:协同业务、算法、后端团队完成日常沟通、文档归档、问题记录,支撑 AI + 数据数字化项目落地。技术沉淀与实践:学习大数据、AI 数据开发前沿技术,在导师指导下完成小范围技术调研、小型需求落地,为 27 届正式入职积累项目实战经验。 职位要求 计算机、大数据、统计学、数学、软件工程等相关专业,实习周期≥3 个月,全勤到岗,优先可长期实习至毕业入职。专业基础:掌握数据库原理,熟练基础 SQL,能独立编写多表关联、聚合查询;了解数据仓库、星型 / 雪花模型、ETL 基础概念。技能要求掌握 Python 基础,会 Pandas、Numpy 进行数据处理,做过数据清洗、数据集加工项目优先;了解 Hadoop/Spark 大数据基础概念,用过 Tableau/FineBI/PowerBI 任意一款可视化工具加分;接触

智元创新(上海)科技有限公司  21 days ago
XPENG jobs

【27届校招】通用智能AI平台研发工程师 北京、上海、广州 正式 研发 - 算法 通用智能板块 职位描述 小鹏通用智能AI数据闭环平台团队,负责构建支撑百万级路采数据、千卡GPU集群的自动驾驶,具身智能数据与AI基础设施。从路测车辆上每秒产生的GB级传感器数据和多模态具身智能传感器数据,到最终训练出能够应对复杂城市道路的感知/预测/决策模型——我们打造的平台是这一切的底座。你将与国内顶尖的分布式系统、AI基础设施、自动驾驶算法工程师并肩工作,直面PB级数据处理、大规模分布式训练、大模型辅助标注等前沿技术挑战。真实场景,海量数据:你将处理来自摄像头、LiDAR、毫米波雷达、GPS/IMU等多传感器的真实路采和数采数据,规模达到PB级——这不是课堂作业,而是工业级挑战。前沿技术,深度应用:VLM自动化标注、Milvus向量检索、流批一体架构、GPU集群调度……你接触的不是纸上谈兵的技术,而是正在重塑行业的关键能力。完整链路,全局视野:从数据接入→清洗治理→特征提取→模型训练→推理部署→数据回流,你将有机会参与到AI平台的全链路建设中,理解自动驾驶数据闭环的每一环。高速成长,快速扛事:27届校招专属培养计划,mentor一对一引导,但绝不只让你做边角料——我们希望你尽快独立负责核心模块的研发与优化。方向一:大规模数据处理开发高可靠的ETL数据处理流水线,处理车载传感器数据(摄像头图像、LiDAR点云、GPS轨迹、CAN总线信号等)基于Spark/Flink优化数据清洗、转换、聚合任务,持续提升云端数据处理的吞吐与稳定性构建多模态Embedding生产流水线,支持CV/NLP模型对海量数据的分布式特征提取探索基于VLM(视觉语言模型)的自动标签生成方案,减少对人工标注的依赖,加速算法迭代构建驾驶场景的语义索引系统,支持复杂语义检索(如“夜间雨天前车急刹”“高架桥上旁车近距离切入”)方向二:数据建模与治理设计多源异构数据仓库的分层模型(ODS/DWD/DWS/ADS),支撑感知、预测、规划等算法的训练数据需求构建数据血缘与元数据管理体系,确保每一帧训练数据的来源、处理过程与版本都可追溯制定多模态数据的向量化规范(图像/点云/文本的Embedding标准),为后续检索与训练提供高质量特征输入方向三:AI平台架构与优化搭建数据湖仓一体架构(基于Iceberg/Delta Lake + StarRocks/Doris),兼顾数据湖的灵活性与数据仓库的查询性能开发高性能特征向量数据库(基于Milvus/Pinecone或自研引擎),支撑亿级向量的低延迟检索持续优化存储与计算性能(分区策略、压缩算法、缓存机制),探索流批一体、存算分离等新架构的落地设计高效的数据存储、分区与读取策略(Parquet/ORC),优化存储与网络I/O,保障训练与推理的数据吞吐方向四:分析工具与可视化开发BI数据看板,实时监控数据质量及自动驾驶核心指标(感知准确率、接管率、场景覆盖率等)提供多模态检索接口,支持通过文本描述(如“从左后方快速切入的摩托车”)检索对应的驾驶场景视频片段 职位要求 1、2027届硕士/博士毕业生,计算机、软件工程、人工智能、自动化、电子信息等相关专业2、扎实的编程基础,熟练掌握 Python/C++/Java/Scala 中至少一门语言,有良好的工程习惯与代码质量意识熟悉至少一项大数据处理框架(Spark/Flink)或深度学习框架(PyTorch/TensorFlow)3、对自动驾驶场景有基本认知和浓厚兴趣——你不一定懂感知算法细节,但要理解数据对算法训练的价值加分项(满足1-2项即可,非硬性要求)1、有数据仓库建模或数据湖(Iceberg/Delta Lake/Hudi)实际使用经验2、熟悉分布式计算原理,有Spark/Flink任务性能调优经验3、了解Kubernetes及GPU虚拟化技术,有集群资源调度相关实践4、使用过Milvus、Weaviate、Pinecone等向量数据库,或对向量检索算法(HNSW/IVF)有研究5、熟悉VLM/多模态模型(如CLIP、LLaVA、Qwen-VL等),有特征提取或模型微调经验6、有自动驾驶相关数据集(nuScenes/Waymo/Argoverse)的处理经验在ACM、Kaggle、天池等编程/数据竞赛中取得过优异成绩7、有高质量技术博客或开源项目贡献收获1、有竞争力的薪酬与校招专属福利包(薪资面议,对标一线互联网/自动驾驶公司)2、真实的工业级技术挑战,你的代码将直接运行在千卡GPU集群和PB级数据湖上3、技术广度与深度的双重成长,在数据工程、AI基础设施、分布式系统、多模态模型等方向持续积累4、广阔的成长空间:团队技术氛围浓厚,鼓励技术分享、论文阅读与创新探索,支持将前沿成果转化为实际生产力5、清晰的校招培养路径:入职前3个月mentor带教,半年内逐步独立负责核心模块,1年内具备技术owner能力 投递...

Premium Full-time
XPENG  18 days ago
加入XD Inc. jobs

TapTap 大数据开发实习生(上海) 上海 实习 互联网 / 电子 / 网游 技术大类 TapTap 职位描述 1、参与 AI 数据研发能力建设,探索自然语言数据分析、Text-to-SQL、AI 辅助数据校验、智能报表生成等方向;2、参与数据 Agent / AI 数据工具建设,将数据表、指标口径、元数据、知识库等能力封装为可被 AI 调用的工具,提升数据分析和研发效率;3、面向商店、内容、开发者运营等业务方向,参与专题数据建设、指标开发、看板底表和数据分析支持,帮助业务理解用户行为、内容表现和产品效果;4、参与离线 / 实时数据研发,包括数据清洗、建模、任务开发、数据校验和链路监控,保障数据产出的准确性和稳定性;5、参与 TapTap 基础数据建设,沉淀公共数据表、指标口径、数据质量校验等通用数据能力,提升业务分析和产品决策效率。 职位要求 1、研究生及以上学历,计算机、软件工程、数据科学、统计学等相关专业优先;2027 届、2028 届在校生,能连续实习 6 个月及以上,每周到岗 4-5 天;2、对 AI 与数据工程结合有兴趣,愿意参与

Premium Full-time AI
加入XD Inc.  13 days ago
Apple jobs

SummaryApple is where individual imaginations gather together, committing to the values that lead to great work! Every new product we build, service we create, or Apple Store experience we deliver is the result of us making

Apple  9 days ago
BOKE Technology Co., Ltd jobs

2027届实习-算法数据开发工程师 上海 实习 互联网 / 电子 / 网游 技术 职位描述 1、参与游戏业务离线/实时数仓的日常开发,协助完成简单的 ETL 逻辑编写及报表开发。2、负责日常数据链路的监控与异常排查,学习并实践数据准确性校验逻辑。3、负责数据字典的梳理及技术文档的编写,确保业务逻辑的可追溯性。 职位要求 学历背景:2026 届或 2027 届在校生,统招本科及以上学历,计算机、数学、软件工程等相关专业。编程基础:熟练编写 SQL(理解常见的 Join 原理、聚合函数、开窗函数),对底层逻辑有好奇心,有JAVA/PYTHON基础加分。算法功底:具备优秀的数据结构与算法能力,能够通过代码解决复杂的逻辑问题技术热情:熟悉大数据基本概念(如:知道 Hadoop/Spark/Flink 是做什么的),有分布式系统、数据库原理等相关课程背景。 职位信息 团队介绍: 我们在做什么?我们是业务全球化征程的“开路先锋”与“守护者”。我们的战场不局限于单一机房或单一云端,而是横跨全球多个Region的复杂基础设施。我们需要在维护传统稳态业务的同时推动云原生技术的落地。你将面对的是一个融合了物理机、虚拟机与Kubernetes容器集群的混合架构庞然大物,通过精细化的运维手段,确保全球玩家都能享受到极致流畅的服务体验。你会遇到的挑战驾驭全球多云环境:你需要同时操作 AWS、GCP、阿里云、腾讯云 等多家云厂商的控制台与API,解决跨国网络延迟、数据合规与资源调度难题;混合架构的统一治理:你的纳管对象既有前沿的 CNCF 云原生组件,也有基于虚拟机/物理机的传统应用。如何在两套体系间实现统一的监控、部署与治理,是你的核心课题;构建全球交付流水线:利用 Jenkins / GitLab-Runner 打造适应全球发布的CI/CD系统,让代码能够安全、快速地分发到世界各地的每一个节点;复杂场景的“神探”:面对跨时区、跨地域、跨架构的线上疑难杂症(网络抖动、应用卡顿、资源争抢),进行全链路的排查与恢复。你能获得的宏大的技术视野:很少有校招岗位能让你直接接触全球级别的架构设计与多云异构的管理经验;全栈运维能力:你将同时掌握“传统运维的深厚内功”(Linux底层、网络协议)与“云原生运维的各种招式”(K8s、ServiceMesh);成就感:亲手敲下的命令,将影响地球另一端成千上万用户的实时体验。为了匹配业务的发展,我们在寻找更多志同道合的伙伴加入我们充满活力的团队,一起迎接市场日益激烈的挑战,共同打造更多的爆款! 投递...

BOKE Technology Co., Ltd  8 days ago
Mars jobs

Job Description: Job summary: The Regional Data Lead APAC plays a critical role in ensuring core data assets are managed and governed effectively. Working alongside other data leaders, it focuses on enabling the organization to extract

Mars  7 days ago
HSBC Group jobs

GCIO - Asia & Middle East Technology Our GCIO organisation plays a critical role for the bank. This team partners with the businesses to build the platforms, systems, and products that our customers use every day.

HSBC Group  6 days ago
智元创新(上海)科技有限公司 jobs

多模态大数据平台开发工程师 上海、北京、深圳 校招 正式 技术族 职位 ID:A90988 职位描述 选择以下方向之一即可:- 数据资产管理后端:负责数据资产、批次、Clip、Dataset 等实体的接口开发与元数据管理,协助完成数据的注册、查询、筛选与版本管理。- 数据生产管道:负责多模态数据(视频、传感器、轨迹等)的 ETL 流水线开发,基于 Argo Workflows 编排清洗、标注、质检、交付等处理任务。- 标注平台:负责多模态标注工具的前后端功能开发,支持 2D、3D 框、点云、视频等标注类型。- 数据前端:负责数据门户的检索、筛选与可视化界面开发,呈现数据集版本、血缘与质量分布。- 数据采集软件:负责多传感器数据采集软件的开发与调试,协助实现采集监控与时间同步。 职位要求 - 计算机、大数据、人工智能、自动化等相关专业硕士及以上。- 扎实的编程基础,熟悉 Linux,掌握 Java、Go、Python、C++、TypeScript 中至少一种。- 了解后端服务、数据库、前端开发或大数据处理框架中的一类即可。- 踏实主动,具备较强的学习意愿与动手能力,有团队协作精神。 投递...

Premium Full-time Argo ETL
智元创新(上海)科技有限公司  6 days ago
GE HealthCare jobs

Job Description SummaryReporting to the Director of FP&A, this role is pivotal in bridging the gap between corporate strategy and operational execution. The ideal candidate will leverage financial acumen to optimize cost structures, drive efficiency across

GE HealthCare  5 days ago
Jump Trading jobs

Jump Trading Group is committed to world-class research. We empower exceptional talent in Mathematics, Physics, and Computer Science to seek scientific boundaries, push through them, and apply cutting-edge research to global financial markets. Our culture is

Jump Trading  23 hours ago
Bambu Lab jobs

数据开发实习生 上海 实习 数据 职位描述 1.参与数据仓库、ETL(数据抽取转换加载)流程的设计、开发与维护;2.负责数据质量监控,处理数据异常及日常运维问题;3.配合团队完成数据模型优化、报表开发及数据分析支持工作;4.参与大数据平台(如Hadoop/Spark/Hive等)的日常开发与调优。 职位要求 1.全日制统招本科及以上学历,计算机、数学、统计等相关专业背景优先;2.熟悉SQL,掌握Python/Java/Scala中至少一种编程语言;3.了解Hadoop生态(HDFS、Hive、Spark等)及数据仓库基本概念;4.逻辑清晰,责任心强,对数据敏感,具备良好的沟通能力;5.每周可实习4天及以上,连续实习3个月以上。 投递...

Premium Full-time
Bambu Lab  1 day ago
Bambu Lab jobs

测试开发实习生(数据方向) 上海 实习 研发 - 测试 职位描述 1.协助数据仓库及数据产品的功能与质量测试,涵盖ETL流程、API数据接口、数据报表等,验证数据准确性及完整性;2.参与测试用例设计与执行,记录并跟踪缺陷,协助编写测试报告及数据质量评估文档;3.协助复现、分析数据问题,配合研发及业务团队定位原因并推动解决;4.参与数据质量监控体系的建设与优化,协助数据治理相关的辅助工作。 职位要求 1.全日制本科及以上学历,计算机、软件工程、数据科学等相关专业优先;2.熟悉SQL,能熟练编写查询及校验语句,了解至少一种数据库(如MySQL、PostgreSQL等);3.了解Python、Java或Shell中的至少一种编程语言,可编写简单的自动化校验脚本;4.对大数据技术(如Hive、Spark、Flink)或数据仓库基础概念有所了解;5.逻辑清晰,对数据敏感,细致有耐心,具备良好的沟通与协作能力;6.每周可实习4天及以上,连续实习3个月以上。 投递...

Premium Full-time
Bambu Lab  1 day ago

Subscribe for job alerts and resources to make your job search easier!

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

Receive the latest job openings for:

python etl jobs in shanghai

You also might be interested in:

实习生

Big Data

AI

Data Engineering

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

All Filters Apply
Sort by
Job Title
Employer/Recruiter
Experience