SummaryWe are hiring a Site Reliability Engineer to Build, support and improve Keystone, an ETL application/platform operating in the China region. Keystone supports data ingestion, transformation, and loading workflows across Kubernetes-based environments, including Airflow-based loader jobs
Data Engineer大数据工程师 Hangzhou Experienced Full-time Responsibilities Responsibilities1.Scale Lakehouse & Data PipelinesIterate on the Iceberg lakehouse architecture; build and maintain multi-source batch and streaming pipelines to guarantee stability, data consistency and timeliness.2.Data Modeling & Metric SystemBuild layered data
大数据平台开发工程师-存储方向 北京 全职 智能制造 / 工业互联网 / 工业自动化 职位描述 1、基于Paimon/Lance与Gravitino设计与研发理想汽车数据湖存储，解决海量元数据管理、分级存储、缓存加速、多模态存储、向量和全文检索等需求，支持数据平台、算法平台等数据存储和访问场景；2、与团队合作完成湖仓一体底层存储建设，支持批流一体业务场景，优化业务数据链路；3、负责维护线上分布式存储或大数据解决方案的SLA，基于用户的体验和数据持续优化。 职位要求 1、全日制统招本科及以上学历，计算机相关专业2、熟悉数据湖和元数据概念原理，Iceberg/Paimon/Lance及Gravitino/Polaris/Unity Catalog；3、熟悉MPP库概念、架构和原理，精通OLAP相关技术，包括SQL语言应用、数据模型的设计和开发，至少熟悉一种OLAP组件及其特性和应用场景，Presto/StarRocks；4、有大数据相关研发经验和数仓开发经验，对常见的大数据体系组件（Hadoop、Hive、Spark、Flink、Kafka等）有使用和开发经验；5、加分项：熟悉本体语义或数据语义层的定义和应用。 投递...
数据管线高级工程师 Guangzhou Full-time Internet / Electronics / Games Responsibilities 1. 负责数据闭环核心链路的设计与建设，开发数据清洗、标注质检、数据挖掘等工具链，支撑算法团队快速定位模型错误案例，驱动模型迭代优化；2. 负责生产研发流程的数据支持，如日志埋点、车联网数据、内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等；支持自动驾驶、智能座舱、海外数据采集、机器人数据采集等业务的开展；3. 负责数据采集、清洗、转换全链路的性能优化，解决大规模数据传输、内存管理、I/O 等瓶颈问题，搭建高吞吐、低延迟的分布式数据处理系统；4. 负责搭建数据从采集到入湖到训练的数据管理平台，实现数据版本控制、血缘追踪、元数据管理与快速检索能力，支撑多团队统一数据接入与协作；5. 协同大模型团队及其他技术团队，深入理解业务需求，快速响应并落地实现。 Qualifications 1. 计算机、软件工程、人工智能等相关专业，本科及以上学历，5 年以上大规模数据处理或数据平台开发经验；2. 熟练掌握 Python / Go / Java 中至少一门语言，具备扎实的软件工程基础，良好的编程规范与代码质量意识；3. 有以下至少两项实际项目经验： - a. 大规模数据管道 / ETL 系统设计与开发，有数据清洗、转换、入库全链路经验； - b.
SummaryWe are hiring an SRE to own reliability, performance, data freshness, and operational readiness for our production ETL platform. The platform supports data ingestion, transformation, and loading workflows across Kubernetes-based environments — including Airflow-based loader jobs
【27届校招】计算平台软件工程师 上海、广州 正式 研发 - 算法 职位描述 1、参与自动驾驶海量数据的采集、管理、处理与高效调度，设计与开发自动驾驶全链路数据平台，包括但不限于数据湖、数据仓库、分布式存储、流批一体计算与智能数据标注、数据治理等；2、研发大规模分布式计算与训练平台，基于Spark、Flink、Ray、PyTorch等技术实现自动驾驶大模型的数据清洗、预处理、并行训练与推理，支持多GPU/多集群高性能任务编排与资源调度；3、优化存储与检索架构，探索和实现包括OSS、CPFS、Iceberg、Delta Lake、Hudi、StarRocks、ClickHouse、ElasticSearch、Milvus等新一代高性能存储与检索方案，提升数据读写、索引、管理效率，赋能AI训练和推理；4、参与团队架构设计与技术攻关，跟进学术前沿与业界动态，解决自动驾驶场景下数据一致性、扩展性、高可用、智能调度等核心难题；5、推进工程实践落地与持续优化，深度参与端到端系统开发、自动化测试、上线发布与持续运维，推动数据与AI平台的稳定迭代和性能进化。 职位要求 1、教育背景：计算机、软件工程、人工智能、数据科学等相关专业，本科及以上学历，硕博优先；2、理论基础扎实： 精通分布式系统原理、并行计算、存储系统、数据库原理、数据湖/数据仓库理论、大规模机器学习等学科知识，有相关顶会/顶刊论文经历者优先；3、技术能力突出：（1）熟练掌握至少一种主流分布式计算框架（如Spark、Flink、Ray等）和一种深度学习框架（如PyTorch、TensorFlow等）；（2）具备大数据存储与处理系统（如OSS、CPFS、Iceberg、Delta Lake、Hudi、StarRocks、ClickHouse、ElasticSearch、Milvus等）实操经验；（3）具备高性能数据检索、索引优化、海量数据管理等工程经验；4、编程与工程能力强（1）熟练掌握Python/Java/Scala/C++/Rust等主流开发语言中的至少一种，具备良好的工程实践和代码规范；（2）有高并发、大规模分布式系统、流式/批式混合计算平台相关项目经验者优先；5、创新与解决问题能力：具备独立分析复杂系统、定位瓶颈、提出创新性解决方案的能力，对技术钻研有热情，善于跨界学习；6、沟通协作与主动学习：良好的团队协作能力、沟通表达能力及自驱力，乐于分享、敢于挑战难题；7、加分项：（1） 在数据库、分布式系统、云原生计算、向量数据库、机器学习系统等领域有顶会（SIGMOD、VLDB、ICDE、NeurIPS、ICML等）论文、竞赛获奖或开源项目贡献；（2）有阿里云、腾讯云、AWS、GCP等云平台大数据相关实习、项目或竞赛经历；（3） 具备自动驾驶、机器人、智能感知领域大规模数据处理或AI应用落地经验；（4）英语或技术写作能力优秀，有技术博客、专利、文档经验。 投递...
湖仓开发工程师 北京 社招 全职 互联网 / 电子 / 网游 职位描述 -负责企业级数据湖仓平台的设计、开发与维护；-负责湖仓内数据建模、数据加工、数据采集、分层设计等工作，保证数据质量与一致性；-负责编写高性能ETL任务，维护Flink、Spark等计算任务的稳定运行；-负责元数据管理、数据质量监控、数据血缘分析、权限系统的设计与开发；-和业务方进行需求对接，完成业务数据到湖仓到使用的全链路工作； 职位要求 -计算机、大数据等相关专业，本科及以上学历；-精通Java、Python、Go等语言中一种或多种，具备良好的编码习惯；-熟练掌握Spark、Flink、Kafka、Hive、Doris等大数据组件，深入理解端到端一致性及具体实现，具备实时湖仓开发经验；-熟悉数据湖技术（如Iceberg）、湖仓分层、湖仓一体架构，深入理解ACID、Schema Evolution、Time Travel等核心特性及使用场景；-具备良好的沟通协作能力，主动性强，能独立定位和解决问题；-熟悉Iceberg、Flink、Doris等相关大数据组件源码者优先；-有自动驾驶领域的湖仓数据平台开发经验者优先。 投递...
SummaryAt Apple, extraordinary ideas have a way of becoming excellent products, services, and customer experiences very quickly. Bring passion and dedication to your job and theres no telling what you could accomplish. Would you like to
SummaryThe AiDP Data Platforms team builds and operates data platforms at scale on the Cloud, helping Apple process, store, and access petabytes of data. We’re seeking an SRE to own the reliability, performance, and operability of
Role Summary Design, build, and run core services and reusable components for the open-architecture data platform, enabling scalable ingestion, metadata-driven processing, governance, and reliable multi-engine data consumption. Partner with Platform Engineering and Data Engineering teams to
Design, build, and support trusted analytical data products for Core Reference Data, Security Master, IBOR Holdings & Transactions, DataHub, and Stamford Data Warehouse migrationsand may other data initiatives. Develop end-to-end batch/stream pipelines, logical and physical data
大模型数据链路工程师-2027届 北京、上海 校招 正式 研发 - 后端开发 2027届校园招聘 职位描述 1. 与算法团队深度合作，推进数据清洗、样本生成等场景下多阶段复杂 pipeline 的分布式引擎设计和落地；2. 支撑大模型数据的清洗/分类/采样等场景，持续完善 Ray/Spark 内核功能及性能3. 通过云原生技术栈搭建多云多地域的混合计算底座, 参与 Ray/Spark 在 K8S 上的弹性 /潮汐资源集群稳定性 /可观测性 /平台化对接等能力建设 职位要求 1. 2027 届本科及以上，计算机科学、软件工程等相关专业2. 扎实的 Python/Java/Scala/C++/Go 等高级语言编程功底；3. 熟悉 Ray 内核或者 Ray
SummaryAI & Data Platforms (AiDP) is IS&Ts engine for AI-powered innovation. The team brings together data, application development, and machine learning — including generative AI — along with data services and customer success functions, to help
SummaryAI & Data Platforms (AiDP) is IS&Ts engine for AI-powered innovation. The team brings together data, application development, and machine learning — including generative AI — along with data services and customer success functions, to help
大数据平台工程师-存储方向 北京、上海 全职 研发 - 大数据 职位描述 1、基于Paimon/Lance与Gravitino设计与研发理想汽车数据湖存储，解决海量元数据管理、分级存储、缓存加速、多模态存储、向量和全文检索等需求，支持数据平台、算法平台等数据存储和访问场景；2、与团队合作完成湖仓一体底层存储建设，支持批流一体业务场景，优化业务数据链路；3、负责维护线上分布式存储或大数据解决方案的SLA，基于用户的体验和数据持续优化。 职位要求 1、熟悉数据湖和元数据概念原理，Iceberg/Paimon/Lance及Gravitino/Polaris/Unity Catalog；2、熟悉MPP库概念、架构和原理，精通OLAP相关技术，包括SQL语言应用、数据模型的设计和开发，至少熟悉一种OLAP组件及其特性和应用场景，Presto/StarRocks；3、有大数据相关研发经验和数仓开发经验，对常见的大数据体系组件（Hadoop、Hive、Spark、Flink、Kafka等）有使用和开发经验；4、加分项：熟悉本体语义或数据语义层的定义和应用 投递...
SummaryAI & Data Platforms (AiDP) is IS&Ts engine for AI-powered innovation. The team brings together data, application development, and machine learning — including generative AI — along with data services and customer success functions, to help
SummaryAI & Data Platforms (AiDP) is IS&Ts engine for AI-powered innovation. The team brings together data, application development, and machine learning — including generative AI — along with data services and customer success functions, to help
校招-AI数据研发工程师 北京 校招 正式 职能与支持 - 数据分析 硕士及以上 2027届校园招聘-正式批 职位 ID：A08706 职位描述 1. 优化数据闭环，提升数据闭环效率2.优化数据存储方案，降低数据成本3.通过AI分析智能辅助驾驶生产和运营过程中的数据，为业务提供支持 职位要求 1.硕士以上学历，计算机、人工智能、数学等相关专业;2.熟悉Hive/Spark/Iceberg等数据技术中的一种及以上；3.熟悉云原生/AI相关技术栈，对结构化和非结构化数据（图像，点云等）处理都有相关技能储备；4.理解深度学习、神经网络相关知识，有大语言模型、智能辅助驾驶相关项目经验;加分项：有智能辅助驾驶或具身数据处理经验; 投递...
Agentic AI Engineer Position ID: P946333 Location: Hangzhou, China Employment Type: Full-time Role Summary We are seeking an experienced Agentic AI Engineer to design, build, and evolve enterprise-grade Agentic AI platforms and solutions supporting investment management,
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to