We are seeking an experienced Senior Data Engineer to design, implement, and maintain our data infrastructure and pipelines. The ideal candidate will have a strong background in data engineering, big data technologies, and cloud platforms. You
具身智能数据工程师 北京 全职 互联网 / 电子 / 网游 职位描述 负责具身智能方向的数据平台建设，支撑机器人、多模态感知、语言理解、动作决策、任务规划等场景的数据生产、管理、流转与分析。设计并建设大规模多模态数据处理平台，覆盖视频、图像、语音、文本指令、传感器数据、机器人操作轨迹、环境状态、任务执行日志等数据类型。负责数据采集、清洗、标注、质检、版本管理、样本检索、数据回流等核心链路的平台化能力建设。建设面向模型训练的数据集管理能力，包括数据集构建、切分、去重、质量评估、元数据管理、血缘追踪与可复现训练数据交付。参与搭建具身智能数据闭环系统，支持模型训练、评测、仿真、真实机器人执行后的数据回收与持续迭代。与算法、机器人、仿真、标注、产品等团队协作，抽象共性数据需求，沉淀稳定、高效、可扩展的平台工具。负责数据平台的性能优化、稳定性建设、权限治理、成本优化和工程规范落地。 职位要求 本科及以上学历，计算机、软件工程、人工智能、自动化、机器人、电子信息等相关专业优先。具备扎实的数据工程或后端平台开发经验，熟悉 Python / Java / Go / Scala 中至少一种语言。熟悉大规模数据处理链路，了解 Spark、Flink、Kafka、Airflow、Ray、Hadoop、Hive、ClickHouse、ElasticSearch 等技术中的一种或多种。熟悉数据库、对象存储、消息队列、任务调度、数据湖或数据仓库等平台基础组件。有良好的平台化思维，能够将复杂业务流程抽象为稳定的数据模型、任务系统、服务接口和工具链。具备较强的数据质量意识，理解数据清洗、标注质检、样本治理、版本管理、数据血缘、权限控制等工程问题。有多模态数据、机器人数据、视频理解数据、仿真数据或大规模模型训练数据平台经验者优先。熟悉 Kubernetes、Docker、云原生架构、分布式任务调度或高性能计算平台者优先。具备良好的沟通协作能力，能够与算法、工程、产品和运营团队高效配合，推动复杂系统落地。有具身智能、机器人学习、VLA / VLM / 多模态大模型相关数据平台经验优先。有数据标注平台、数据闭环平台、模型训练数据平台、仿真数据平台建设经验优先。熟悉 ROS、机器人日志格式、传感器数据、轨迹数据、仿真环境或模型评测链路优先。有从 0 到 1 搭建数据平台或核心数据链路的经验优先。 投递...
【集团】大数据开发高级工程师(数据驾舱-研发) 上海 全职 职位描述 1、本科及以上学历，3年及以上大数据相关开发经验;2、熟悉Oracle，对hdfs、flink、spark等有深入理解;3、有flink，数据库，sql查询优化，性能优化相关经验者优先;4、优秀的业务理解能力、逻辑性和沟通能力，能跨部门合作沟通; 职位要求 1、深入理解流式sql原理及应用场景，并实现完备的流式sql功能;2、负责流式sql查询优化、运行时优化、问题诊断及分析等;3、负责流计算引擎flink的调度优化、执行优化，支撑高吞吐、大状态作业的稳定运行;4、负责实时计算在业务上的应用，如实时多维分析、实时异常监控排查等;5、负责业务线实时数仓的规划、设计以及建设;6、熟练掌握至少一种编程语言（如Java、Scala）。 投递...
【集团】大数据开发工程师（数据驾舱） 上海 全职 职位描述 1、本科及以上学历，3年及以上大数据相关开发经验;2、熟悉Oracle，对hdfs、flink、spark等有深入理解;3、有flink，数据库，sql查询优化，性能优化相关经验者优先;4、优秀的业务理解能力、逻辑性和沟通能力，能跨部门合作沟通; 职位要求 1、深入理解流式sql原理及应用场景，并实现完备的流式sql功能;2、负责流式sql查询优化、运行时优化、问题诊断及分析等;3、负责流计算引擎flink的调度优化、执行优化，支撑高吞吐、大状态作业的稳定运行;4、负责实时计算在业务上的应用，如实时多维分析、实时异常监控排查等;5、负责业务线实时数仓的规划、设计以及建设;6、熟练掌握至少一种编程语言（如Java、Scala）。 投递...
数据挖掘工程师/专家 北京、上海 社招 全职 研发 - 算法 职位描述 1. 基于自动驾驶海量数据，利用机器学习、深度学习和数据挖掘方法，负责相关数据挖掘、场景发现、数据筛选与价值挖掘工作，研发适用于实际业务场景的 AI 模型、算法和工具。2. 负责机器学习/深度学习领域的算法研究与工程落地，包括但不限于图学习、生成学习、迁移学习、强化学习、多模态学习以及各类优化方法的实践与创新。3. 面向自动驾驶感知、预测、规划、仿真、数据闭环等业务场景，探索前沿算法问题，设计并实现可落地的技术解决方案，推动数据驱动的模型迭代和业务发展。4. 建设数据挖掘与智能分析能力，包括规则挖掘、Embedding 检索、向量数据库、图搜索、文搜图/图搜图、多模态理解等能力，提升数据生产、质检、评测和交付效率。5. 结合业务需求，沉淀可复用的数据挖掘工具链和算法平台，支持大规模数据分析、样本召回、长尾场景挖掘、难例发现和数据质量提升。 职位要求 1. 数学、计算机、统计学、通信、电子、自动化等相关专业本科以上学历；具备 3 年及以上机器学习、深度学习或数据挖掘相关研究或工程经验。2. 熟悉 Python、Java、C/C++、Scala 等至少一门编程语言，具备良好的工程实现能力，有大规模数据处理、算法系统开发或模型训练经验者优先。3. 熟悉至少一种深度学习框架，如 PyTorch、TensorFlow、MindSpore 等；熟悉常见机器学习/深度学习模型和算法，包括但不限于 GBDT、RF、CNN、RNN、Transformer、CLIP、多模态模型、Embedding 模型等。4. 具备较强的数据分析和数据建模能力，熟悉常见数据挖掘方法，如聚类、分类、召回、排序、异常检测、相似度检索、特征工程、样本筛选等。5. 有自动驾驶、机器人、智能交通、地图、推荐系统、搜索广告、多模态理解、大规模数据挖掘等相关经验者优先。熟悉大数据处理工具或平台者优先，如 Spark、Flink、Hadoop、Hive、ClickHouse、Doris、Elasticsearch、Milvus、Faiss 等。6. 具备良好的问题抽象能力、技术判断力和沟通协作能力，能够结合业务场景快速定位问题，并推动算法方案落地。加分项1. 有自动驾驶数据闭环、长尾场景挖掘、感知数据挖掘、仿真数据挖掘、数据质检或模型评测经验。2. 有多模态大模型、VLM、CLIP、Qwen-VL、Embedding
Conviva is the first and best place to understand and optimize digital customer experiences. Our Operational Data Platform harnesses full-census, comprehensive client-side telemetry—capturing every aspect of customer experience and engagement across all devices and linking them
Company Description About Grab and Our Workplace Grab is Southeast Asias leading superapp. From getting your favourite meals delivered to helping you manage your finances and getting around town hassle-free, weve got your back with everything.
Airbnb was born in 2007 when two hosts welcomed three guests to their San Francisco home, and has since grown to over 5 million hosts who have welcomed over 2 billion guest arrivals in almost every
数据研发工程师 北京 全职 研发 - 大数据 职位描述 1、负责掌阅集团企业级数据建设(涵盖流量、内容、用户、商业化等业务方向)，提供通用、稳定、丰富、高效的公共数据能力，提升数据支持业务的效率，探索数据增量价值；2、面向流量、内容、用户、商业化等业务方向，建设专题数据，提供丰富易用的数据服务，直接支持公司业务决策分析，赋能业务；3、建设企业级数据治理和管理体系，结合业务+元数据+技术，推进资源成本的优化，提高数据服务质量，保障数据产出的稳定性和准确性；4、参与公司级别商业化相关系统数据设计、研发以及保障。 职位要求 1、精通分布式文件系统hdfs常用命令以及底层原理。2、精通yarn，datax，sqoop，hbase 等hadoop生态常用工具3、精通数仓常用计算引擎，hive/spark/kylin/impala/starrocks 至少两种以上。4、精通常用数据库3种以上。mysql/redis/hbase/es5、对数仓之上的衍生产品(例：投放,BI,DMP,数据分析平台,监控平台,调度平台等)有丰富经验，有过大厂经验最好,。6、熟悉linux常用命令，熟悉至少一种脚本语言。shell/python7、熟悉Kafka、Flink、Scala、Java技术栈， 熟练运用流计算窗口、状态、算子、并发、调优技术8、对自己使用过的组件看过源码者优先考虑。强加分项:1.有明确的广告投放系统经验，对广告投放术语、指标例如 cpm/cpc/cps/wau/uv/pv/ltv/apru/roi等等有相对深刻得了理解，并参与实践2.对计算广告服务基本流程架构（dsp/adx/dmp/ssp等等）、核心概念例如RTA/RTB等等有相对深刻的了解甚至实际参与研发3.对于用户画像-用户标签-用户分群的数据体系建设有实践经验 投递...
Location:CN-Shenzhen-HyQ Shift:Standard - 40 Hours (China) Scheduled Weekly Hours:40 Worker Type:Permanent Job Summary:Lead the design and delivery of LME market data platforms that consolidate multiple real-time and historical market data sources into scalable enterprise data assets
Location:CN-Shenzhen-HyQ Shift:Standard - 40 Hours (China) Scheduled Weekly Hours:40 Worker Type:Permanent Job Summary:This role is a critical part of the Enterprise data team involved in the replacement of legacy ETL (Informatica) tool by providing key data
Location:CN-Shenzhen-HyQ Shift:Standard - 40 Hours (China) Scheduled Weekly Hours:40 Worker Type:Permanent Job Summary:Lead the design and delivery of LME market data platforms that consolidate multiple real-time and historical market data sources into scalable enterprise data assets
【27届校招】通用智能AI平台研发工程师 北京、上海、广州 正式 研发 - 算法 通用智能板块 职位描述 小鹏通用智能AI数据闭环平台团队，负责构建支撑百万级路采数据、千卡GPU集群的自动驾驶，具身智能数据与AI基础设施。从路测车辆上每秒产生的GB级传感器数据和多模态具身智能传感器数据，到最终训练出能够应对复杂城市道路的感知/预测/决策模型——我们打造的平台是这一切的底座。你将与国内顶尖的分布式系统、AI基础设施、自动驾驶算法工程师并肩工作，直面PB级数据处理、大规模分布式训练、大模型辅助标注等前沿技术挑战。真实场景，海量数据：你将处理来自摄像头、LiDAR、毫米波雷达、GPS/IMU等多传感器的真实路采和数采数据，规模达到PB级——这不是课堂作业，而是工业级挑战。前沿技术，深度应用：VLM自动化标注、Milvus向量检索、流批一体架构、GPU集群调度……你接触的不是纸上谈兵的技术，而是正在重塑行业的关键能力。完整链路，全局视野：从数据接入→清洗治理→特征提取→模型训练→推理部署→数据回流，你将有机会参与到AI平台的全链路建设中，理解自动驾驶数据闭环的每一环。高速成长，快速扛事：27届校招专属培养计划，mentor一对一引导，但绝不只让你做边角料——我们希望你尽快独立负责核心模块的研发与优化。方向一：大规模数据处理开发高可靠的ETL数据处理流水线，处理车载传感器数据（摄像头图像、LiDAR点云、GPS轨迹、CAN总线信号等）基于Spark/Flink优化数据清洗、转换、聚合任务，持续提升云端数据处理的吞吐与稳定性构建多模态Embedding生产流水线，支持CV/NLP模型对海量数据的分布式特征提取探索基于VLM（视觉语言模型）的自动标签生成方案，减少对人工标注的依赖，加速算法迭代构建驾驶场景的语义索引系统，支持复杂语义检索（如“夜间雨天前车急刹”“高架桥上旁车近距离切入”）方向二：数据建模与治理设计多源异构数据仓库的分层模型（ODS/DWD/DWS/ADS），支撑感知、预测、规划等算法的训练数据需求构建数据血缘与元数据管理体系，确保每一帧训练数据的来源、处理过程与版本都可追溯制定多模态数据的向量化规范（图像/点云/文本的Embedding标准），为后续检索与训练提供高质量特征输入方向三：AI平台架构与优化搭建数据湖仓一体架构（基于Iceberg/Delta Lake + StarRocks/Doris），兼顾数据湖的灵活性与数据仓库的查询性能开发高性能特征向量数据库（基于Milvus/Pinecone或自研引擎），支撑亿级向量的低延迟检索持续优化存储与计算性能（分区策略、压缩算法、缓存机制），探索流批一体、存算分离等新架构的落地设计高效的数据存储、分区与读取策略（Parquet/ORC），优化存储与网络I/O，保障训练与推理的数据吞吐方向四：分析工具与可视化开发BI数据看板，实时监控数据质量及自动驾驶核心指标（感知准确率、接管率、场景覆盖率等）提供多模态检索接口，支持通过文本描述（如“从左后方快速切入的摩托车”）检索对应的驾驶场景视频片段 职位要求 1、2027届硕士/博士毕业生，计算机、软件工程、人工智能、自动化、电子信息等相关专业2、扎实的编程基础，熟练掌握 Python/C++/Java/Scala 中至少一门语言，有良好的工程习惯与代码质量意识熟悉至少一项大数据处理框架（Spark/Flink）或深度学习框架（PyTorch/TensorFlow）3、对自动驾驶场景有基本认知和浓厚兴趣——你不一定懂感知算法细节，但要理解数据对算法训练的价值加分项（满足1-2项即可，非硬性要求）1、有数据仓库建模或数据湖（Iceberg/Delta Lake/Hudi）实际使用经验2、熟悉分布式计算原理，有Spark/Flink任务性能调优经验3、了解Kubernetes及GPU虚拟化技术，有集群资源调度相关实践4、使用过Milvus、Weaviate、Pinecone等向量数据库，或对向量检索算法（HNSW/IVF）有研究5、熟悉VLM/多模态模型（如CLIP、LLaVA、Qwen-VL等），有特征提取或模型微调经验6、有自动驾驶相关数据集（nuScenes/Waymo/Argoverse）的处理经验在ACM、Kaggle、天池等编程/数据竞赛中取得过优异成绩7、有高质量技术博客或开源项目贡献收获1、有竞争力的薪酬与校招专属福利包（薪资面议，对标一线互联网/自动驾驶公司）2、真实的工业级技术挑战，你的代码将直接运行在千卡GPU集群和PB级数据湖上3、技术广度与深度的双重成长，在数据工程、AI基础设施、分布式系统、多模态模型等方向持续积累4、广阔的成长空间：团队技术氛围浓厚，鼓励技术分享、论文阅读与创新探索，支持将前沿成果转化为实际生产力5、清晰的校招培养路径：入职前3个月mentor带教，半年内逐步独立负责核心模块，1年内具备技术owner能力 投递...
AI数据研发工程师 深圳 全职 互联网 / 电子 / 网游 职位描述 1、负责用户context信息采集体系的搭建、优化与落地，设计多源数据采集方案（涵盖用户行为、设备信息、交互轨迹等），对接前后端业务模块，制定采集标准，保障采集数据的完整性、准确性和实时性。2、主导数据平台全流程搭建与运维，负责音频、视频等全天候数据的接收、解析、转码、存储及流转管理，搭建高可用、高可靠的数据链路，处理海量音视频及3、结构化数据，保障平台7×24小时稳定运行，支撑业务正常运转及数据供给。优化数据处理管道，针对音视频数据体积大、处理效率低等特性，制定优化方案，提升数据处理时效与存储利用率，输出标准化、高质量的数据，为大模型训练提供合规、可用的训练语料（音视频、用户行为相关数据等）。4、负责数据平台监控体系搭建与维护，配置关键指标（数据采集量、处理延迟、存储占用、链路稳定性）监控告警，快速响应并排查数据丢失、传输异常、系统卡顿等故障，保障数据供给不中断。5、协同业务团队、算法团队，梳理业务数据需求及大模型训练数据需求，优化数据筛选、脱敏、标注流程，输出贴合需求的数据解决方案，支撑业务决策与大模型迭代训练。6、负责数据平台架构迭代优化，引入合适的技术框架，提升平台扩展性、可维护性，适配业务增长及大模型训练的数据量级提升需求，保障数据安全合规。 职位要求 1、学历要求：本科及以上学历，计算机、大数据、软件工程等相关专业，1-3年及以上数据平台相关工作经验。2、技术能力：精通Flume、Logstash、Kafka等数据采集工具，熟练掌握Hadoop、Spark、Flink等大数据框架，具备音视频数据处理、用户context信息采集相关经验。3、运维能力：熟悉Docker、K8s容器化部署，具备全天候数据平台运维、性能优化及故障排查能力，能快速响应线上问题，保障平台高可用。4、存储与安全：熟悉HDFS、HBase、MySQL、MongoDB等存储方案，掌握数据脱敏、备份与恢复方法，了解数据安全合规相关要求，能保障数据安全。语言与工具：熟练使用Java、Python、Scala其中一种及以上编程语言，掌握Shell脚本编写，熟悉Prometheus、Grafana等监控工具者优先。5、业务理解：具备良好的业务敏感度，能快速理解数据平台对业务支撑、大模型训练的核心价值，具备较强的跨团队沟通协作能力和问题解决能力。6、加分项：有大模型训练数据供给、音视频全天候数据平台搭建相关经验者优先；熟悉数据分层设计、数据治理相关工作者优先。 投递...
About our group: We are a proactive, highly solutions oriented and collaborative team that works with all the various business groups across the organization. Our purpose is capturing massive amounts of data is to transform this
Whats the role? We are looking for a motivated and experienced Technology Lead to join the HERE Professional Services - Global Solution Engineering team. This role involves leading the technical delivery of customer-facing software solutions across
Job Summary: This is the contact point for the local team to work closely with the headquarter teams. We are seeking an experienced Senior Data Engineer to design, implement, and maintain our data infrastructure and pipelines.
【27届校招】计算平台软件工程师 上海、广州 正式 研发 - 算法 通用智能板块 职位描述 1、参与自动驾驶海量数据的采集、管理、处理与高效调度，设计与开发自动驾驶全链路数据平台，包括但不限于数据湖、数据仓库、分布式存储、流批一体计算与智能数据标注、数据治理等；2、研发大规模分布式计算与训练平台，基于Spark、Flink、Ray、PyTorch等技术实现自动驾驶大模型的数据清洗、预处理、并行训练与推理，支持多GPU/多集群高性能任务编排与资源调度；3、优化存储与检索架构，探索和实现包括OSS、CPFS、Iceberg、Delta Lake、Hudi、StarRocks、ClickHouse、ElasticSearch、Milvus等新一代高性能存储与检索方案，提升数据读写、索引、管理效率，赋能AI训练和推理；4、参与团队架构设计与技术攻关，跟进学术前沿与业界动态，解决自动驾驶场景下数据一致性、扩展性、高可用、智能调度等核心难题；5、推进工程实践落地与持续优化，深度参与端到端系统开发、自动化测试、上线发布与持续运维，推动数据与AI平台的稳定迭代和性能进化。 职位要求 1、教育背景：计算机、软件工程、人工智能、数据科学等相关专业，本科及以上学历，硕博优先；2、理论基础扎实： 精通分布式系统原理、并行计算、存储系统、数据库原理、数据湖/数据仓库理论、大规模机器学习等学科知识，有相关顶会/顶刊论文经历者优先；3、技术能力突出：（1）熟练掌握至少一种主流分布式计算框架（如Spark、Flink、Ray等）和一种深度学习框架（如PyTorch、TensorFlow等）；（2）具备大数据存储与处理系统（如OSS、CPFS、Iceberg、Delta Lake、Hudi、StarRocks、ClickHouse、ElasticSearch、Milvus等）实操经验；（3）具备高性能数据检索、索引优化、海量数据管理等工程经验；4、编程与工程能力强（1）熟练掌握Python/Java/Scala/C++/Rust等主流开发语言中的至少一种，具备良好的工程实践和代码规范；（2）有高并发、大规模分布式系统、流式/批式混合计算平台相关项目经验者优先；5、创新与解决问题能力：具备独立分析复杂系统、定位瓶颈、提出创新性解决方案的能力，对技术钻研有热情，善于跨界学习；6、沟通协作与主动学习：良好的团队协作能力、沟通表达能力及自驱力，乐于分享、敢于挑战难题；7、加分项：（1） 在数据库、分布式系统、云原生计算、向量数据库、机器学习系统等领域有顶会（SIGMOD、VLDB、ICDE、NeurIPS、ICML等）论文、竞赛获奖或开源项目贡献；（2）有阿里云、腾讯云、AWS、GCP等云平台大数据相关实习、项目或竞赛经历；（3） 具备自动驾驶、机器人、智能感知领域大规模数据处理或AI应用落地经验；（4）英语或技术写作能力优秀，有技术博客、专利、文档经验。 投递...
SummaryAt Apple, we dont just build products; we create magical experiences that reshape entire industries. Our innovation is fueled by the diverse and brilliant minds that come together to dream bigger, think differently, and push the
SummaryApple is where individual imaginations gather together, committing to the values that lead to great work. Every new product we build, service we create, or Apple Store experience we deliver is the result of us making