技术中心 - 数仓开发工程师 广州 技术类 职位描述 1、负责公司海量数据的接入,包括不限于服务端日志、客户端日志、外部聚合数据等,搭建公司数据中台,建设国内海外数据仓库;2、负责实时和离线数据开发,提供高质量、稳定的数据服务,为业务部门赋能;3、参与数据治理,面对PB级存量数据和万亿条级别的新增数据量,提升数据易用性及数据质量,降低数据处理成本;4、负责数仓平台内各种大数据、高并发、数据治理等方面的技术设计和落地;5、负责公司自建大数据的组件维护与调优。 职位要求 1、本科及以上学历,计算机相关专业,三年以上数仓工作经验;2、具备较好的Java/Python编码和SQL能力,能保质保量完成数据建设和数据分析工作;3、熟悉数仓建模理论,有完整数仓的建设经验,熟悉海量数据处理、ETL及任务调度、元数据管理、数据治理;4、熟悉大数据相关工具和框架,如StarRocks、Doris、Flink、Kafka、Hadoop、Hive、Spark、ClickHouse、Trino、Presto、FlinkCDC、Canal、DataX等数仓和ETL工具,具备集群与组件的调优能力;5、具备良好的团队协作和沟通能力,较强的工作规划和执行能力,积极推动项目进度;6、乐于探索新技术和业界新问题的解决方案,学习主动性强。 投递...
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
数据管线高级工程师 广州 全职 通用智能板块 职位描述 1. 负责数据闭环核心链路的设计与建设,开发数据清洗、标注质检、数据挖掘等工具链,支撑算法团队快速定位模型错误案例,驱动模型迭代优化;2. 负责生产研发流程的数据支持,如日志埋点、车联网数据、内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等;支持自动驾驶、智能座舱、海外数据采集、机器人数据采集等业务的开展;3. 负责数据采集、清洗、转换全链路的性能优化,解决大规模数据传输、内存管理、I/O 等瓶颈问题,搭建高吞吐、低延迟的分布式数据处理系统;4. 负责搭建数据从采集到入湖到训练的数据管理平台,实现数据版本控制、血缘追踪、元数据管理与快速检索能力,支撑多团队统一数据接入与协作;5. 协同大模型团队及其他技术团队,深入理解业务需求,快速响应并落地实现。职位要求1. 计算机、软件工程、人工智能等相关专业,本科及以上学历,5 年以上大规模数据处理或数据平台开发经验;2. 熟练掌握 Python / Go / Java 中至少一门语言,具备扎实的软件工程基础,良好的编程规范与代码质量意识;3. 有以下至少两项实际项目经验: - a. 大规模数据管道 / ETL 系统设计与开发,有数据清洗、转换、入库全链路经验; - b. 分布式消息队列(Kafka / Pulsar / RabbitMQ)的生产级应用,熟悉流式数据处理范式; - c. 分布式数据湖系统(如
数据平台开发工程师 广州 全职 通用智能板块 职位描述 1、平台架构与核心开发:负责数据平台的整体架构设计与核心模块开发,构建稳定、高效、可扩展的后端系统,支撑PB级数据处理需求;2、数据工程与流水线:设计与构建面向海量、多模态AI数据的高性能存储、处理与计算流水线,支持标签、向量检索;3、云原生技术落地:基于Kubernetes生态构建容器化、微服务化的数据平台,实现资源的高效利用与系统的弹性伸缩;4、全栈开发与产品化:负责云平台中后台管理系统及数据可视化界面的前后端研发,将平台能力产品化,为内外部用户提供清晰、易用的操作界面;5、数据治理与优化:设计并落地数据挖掘、数据生产、数据集管理等方案,优化数据生命周期管理。 职位要求 1、基础要求:计算机科学、软件工程或相关专业本科及以上学历,具备扎实的计算机基础;2、 经验要求:3-5年后端/大数据开发经验,对高并发、分布式、高可用系统有深入理解和实战经验;3、技术栈要求: - 精通Golang或Java,熟悉Python; - 熟悉数据湖/仓技术(如Delta Lake, Iceberg、Lance)或OLAP引擎(如StarRocks, Doris); - 熟悉数据仓库建模、ETL流程及调度系统;4、工程素养:具备良好的编码规范、单元测试习惯和代码重构能力,能够胜任从0到1的系统搭建与持续优化;加分项1、有MLOps/DataOps平台建设经验,有Web全栈经验,属性 vue、react 常用组件库;2、熟练掌握Kubernetes及其生态(如Helm、Kustomize );3、有自动驾驶、机器人或智能座舱相关领域经验;4、具备出色的沟通理解力,能精准协同内外;同时拥有强烈的自驱力,能主动发现问题、驱动闭环并持续优化。 投递...
数据研发高级工程师 广州 全职 通用智能板块 职位描述 岗位定位聚焦自动驾驶领域大数据基础设施搭建、数据价值挖掘与平台优化,兼顾底层架构构建与业务落地支撑,核心是搭建高效、稳定的智能数据底座,支撑生产链路监控管理、算法训练、业务运营分析、车端业务需求,同时兼顾数据治理降本相关业务,要求具备较强的技术攻坚能力与综合协同能力。职位描述1、 数据资产体系建设:a.分层建设统一通用数据资产:构建感知数据资产体系,实现基础数据标准化供给;b.生产系统监控指标体系建设:快速输出生产流程监控数据,保障生产流程安全高效;c.产品运营监控指标体系建设:快速输出运营监控数据,保障业务运营便捷高效;2、 生产研发流程的数据支持:如日志埋点、车联网数据、内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等;支持自动驾驶、智能座舱、海外数据采集、机器人数据采集等业务的开展。3、 数据治理:a.数据安全生产规范:制定及推广数据标准(如研发规范、质量规范、保障规范)和治理流程,确保数据准确性、完整性和一致性。b.元数据管理:负责元数据管理、数据质量检查、数据分级管理,提升数据易用性及稳定性。c.计算存储成本管理:通过数据生命周期管理能力建设,数据内容挖掘,识别并删除无效数据,降低数据生产成本。4、 新技术跟踪与落地:负责多模态湖仓体系前沿技术跟踪、工具链选型测试与落地,参与资源与性能调优,推动智能数据底座落地。 职位要求 1、学历与经验:计算机、软件工程、数据科学或相关专业本科及以上学历(硕士优先),5年以上大数据相关经验。有大型互联网公司、自动驾驶企业或物理AI领域项目经验者优先。2、数据相关经验:精通数据仓库研发,精通大数据技术栈/Hadoop生态体系,具备PB级数据ETL&建模经验,计算节点开发与调优经验。熟悉 Paimon/Iceberg等新的计算引擎,了解其内部原理(事务ACID、Schema Evolution、Time Travel等)。有多模态湖仓建模、大规模近实时数仓、元数据管理相关实际经验者优先。3、 编程与技术能力:精通Python/SQL 至少一种。能编写高性能、可维护的分布式数据处理代码;深入理解Flink、Spark、Kafka等大数据框架组件原理,有性能调优经验。4、向量数据能力:了解Lance(或Arrow、Parquet向量扩展)等高效列存格式,了解ANN索引构建、向量同步、标量+向量混合查询等关键技术者优先。5、 架构与业务理解:熟悉多模态湖仓技术体系。具备良好的自动驾驶业务理解力,能打通感知、规控、场景理解等环节的数据需求,建设高效、可扩展的多模态湖仓数据基础能力。6、综合能力:具备系统性思维、主动推进能力与问题解决能力,逻辑严密、思路清晰;有较强的学习能力、创新精神,良好的沟通能力与跨团队(算法、平台、业务)协作能力,责任心强。 投递...