数据平台开发工程师 广州 全职 通用智能板块 职位描述 1、平台架构与核心开发:负责数据平台的整体架构设计与核心模块开发,构建稳定、高效、可扩展的后端系统,支撑PB级数据处理需求;2、数据工程与流水线:设计与构建面向海量、多模态AI数据的高性能存储、处理与计算流水线,支持标签、向量检索;3、云原生技术落地:基于Kubernetes生态构建容器化、微服务化的数据平台,实现资源的高效利用与系统的弹性伸缩;4、全栈开发与产品化:负责云平台中后台管理系统及数据可视化界面的前后端研发,将平台能力产品化,为内外部用户提供清晰、易用的操作界面;5、数据治理与优化:设计并落地数据挖掘、数据生产、数据集管理等方案,优化数据生命周期管理。 职位要求 1、基础要求:计算机科学、软件工程或相关专业本科及以上学历,具备扎实的计算机基础;2、 经验要求:3-5年后端/大数据开发经验,对高并发、分布式、高可用系统有深入理解和实战经验;3、技术栈要求: - 精通Golang或Java,熟悉Python; - 熟悉数据湖/仓技术(如Delta Lake, Iceberg、Lance)或OLAP引擎(如StarRocks, Doris); - 熟悉数据仓库建模、ETL流程及调度系统;4、工程素养:具备良好的编码规范、单元测试习惯和代码重构能力,能够胜任从0到1的系统搭建与持续优化;加分项1、有MLOps/DataOps平台建设经验,有Web全栈经验,属性 vue、react 常用组件库;2、熟练掌握Kubernetes及其生态(如Helm、Kustomize );3、有自动驾驶、机器人或智能座舱相关领域经验;4、具备出色的沟通理解力,能精准协同内外;同时拥有强烈的自驱力,能主动发现问题、驱动闭环并持续优化。 投递...
大数据平台开发工程师-存储方向 北京 全职 智能制造 / 工业互联网 / 工业自动化 职位描述 1、基于Paimon/Lance与Gravitino设计与研发理想汽车数据湖存储,解决海量元数据管理、分级存储、缓存加速、多模态存储、向量和全文检索等需求,支持数据平台、算法平台等数据存储和访问场景;2、与团队合作完成湖仓一体底层存储建设,支持批流一体业务场景,优化业务数据链路;3、负责维护线上分布式存储或大数据解决方案的SLA,基于用户的体验和数据持续优化。 职位要求 1、全日制统招本科及以上学历,计算机相关专业2、熟悉数据湖和元数据概念原理,Iceberg/Paimon/Lance及Gravitino/Polaris/Unity Catalog;3、熟悉MPP库概念、架构和原理,精通OLAP相关技术,包括SQL语言应用、数据模型的设计和开发,至少熟悉一种OLAP组件及其特性和应用场景,Presto/StarRocks;4、有大数据相关研发经验和数仓开发经验,对常见的大数据体系组件(Hadoop、Hive、Spark、Flink、Kafka等)有使用和开发经验;5、加分项:熟悉本体语义或数据语义层的定义和应用。 投递...
数据管线高级工程师 Guangzhou Full-time Internet / Electronics / Games Responsibilities 1. 负责数据闭环核心链路的设计与建设,开发数据清洗、标注质检、数据挖掘等工具链,支撑算法团队快速定位模型错误案例,驱动模型迭代优化;2. 负责生产研发流程的数据支持,如日志埋点、车联网数据、内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等;支持自动驾驶、智能座舱、海外数据采集、机器人数据采集等业务的开展;3. 负责数据采集、清洗、转换全链路的性能优化,解决大规模数据传输、内存管理、I/O 等瓶颈问题,搭建高吞吐、低延迟的分布式数据处理系统;4. 负责搭建数据从采集到入湖到训练的数据管理平台,实现数据版本控制、血缘追踪、元数据管理与快速检索能力,支撑多团队统一数据接入与协作;5. 协同大模型团队及其他技术团队,深入理解业务需求,快速响应并落地实现。 Qualifications 1. 计算机、软件工程、人工智能等相关专业,本科及以上学历,5 年以上大规模数据处理或数据平台开发经验;2. 熟练掌握 Python / Go / Java 中至少一门语言,具备扎实的软件工程基础,良好的编程规范与代码质量意识;3. 有以下至少两项实际项目经验: - a. 大规模数据管道 / ETL 系统设计与开发,有数据清洗、转换、入库全链路经验; - b.
分布式系统工程师 武汉、北京 校招 正式 软件研发类 2027届校园招聘计划 职位描述 1. 负责小米数据基建系统建设,包括分布式计算(离线/实时)、作业与资源调度、数据湖等引擎的研发与维护;2. 业务导向技术突破,支撑小米人车家全生态 AI + BI 的数据基建需求,解决大规模云计算难题;3. 参与开源,提升小米在开源社区的影响力。 职位要求 1. 优秀的编程能力,NOI/ACM/IOI 竞赛优秀成绩者优先;2. 云计算开源贡献者优先,包括不限于Hadoop/Spark/Flink/Iceberg/Paimon/OLAP/Ray/Daft/Lance 等;3. 优秀的自我驱动和学习能力,不断追求卓越,对解决有挑战的问题充满热情;4. 计算机专业,数据结构、算法、操作系统等基础扎实。 投递...
大数据平台工程师-存储方向 北京、上海 全职 研发 - 大数据 职位描述 1、基于Paimon/Lance与Gravitino设计与研发理想汽车数据湖存储,解决海量元数据管理、分级存储、缓存加速、多模态存储、向量和全文检索等需求,支持数据平台、算法平台等数据存储和访问场景;2、与团队合作完成湖仓一体底层存储建设,支持批流一体业务场景,优化业务数据链路;3、负责维护线上分布式存储或大数据解决方案的SLA,基于用户的体验和数据持续优化。 职位要求 1、熟悉数据湖和元数据概念原理,Iceberg/Paimon/Lance及Gravitino/Polaris/Unity Catalog;2、熟悉MPP库概念、架构和原理,精通OLAP相关技术,包括SQL语言应用、数据模型的设计和开发,至少熟悉一种OLAP组件及其特性和应用场景,Presto/StarRocks;3、有大数据相关研发经验和数仓开发经验,对常见的大数据体系组件(Hadoop、Hive、Spark、Flink、Kafka等)有使用和开发经验;4、加分项:熟悉本体语义或数据语义层的定义和应用 投递...
公司描述 Do you want beneficial technologies being shaped by your ideas? Whether in the areas of mobility solutions, consumer goods, industrial technology or energy and building technology - with us, you will have the chance to