技术中心 - 数仓开发工程师 广州 技术类 职位描述 1、负责公司海量数据的接入,包括不限于服务端日志、客户端日志、外部聚合数据等,搭建公司数据中台,建设国内海外数据仓库;2、负责实时和离线数据开发,提供高质量、稳定的数据服务,为业务部门赋能;3、参与数据治理,面对PB级存量数据和万亿条级别的新增数据量,提升数据易用性及数据质量,降低数据处理成本;4、负责数仓平台内各种大数据、高并发、数据治理等方面的技术设计和落地;5、负责公司自建大数据的组件维护与调优。 职位要求 1、本科及以上学历,计算机相关专业,三年以上数仓工作经验;2、具备较好的Java/Python编码和SQL能力,能保质保量完成数据建设和数据分析工作;3、熟悉数仓建模理论,有完整数仓的建设经验,熟悉海量数据处理、ETL及任务调度、元数据管理、数据治理;4、熟悉大数据相关工具和框架,如StarRocks、Doris、Flink、Kafka、Hadoop、Hive、Spark、ClickHouse、Trino、Presto、FlinkCDC、Canal、DataX等数仓和ETL工具,具备集群与组件的调优能力;5、具备良好的团队协作和沟通能力,较强的工作规划和执行能力,积极推动项目进度;6、乐于探索新技术和业界新问题的解决方案,学习主动性强。 投递...
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
数据管线高级工程师 广州 全职 通用智能板块 职位描述 1. 负责数据闭环核心链路的设计与建设,开发数据清洗、标注质检、数据挖掘等工具链,支撑算法团队快速定位模型错误案例,驱动模型迭代优化;2. 负责生产研发流程的数据支持,如日志埋点、车联网数据、内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等;支持自动驾驶、智能座舱、海外数据采集、机器人数据采集等业务的开展;3. 负责数据采集、清洗、转换全链路的性能优化,解决大规模数据传输、内存管理、I/O 等瓶颈问题,搭建高吞吐、低延迟的分布式数据处理系统;4. 负责搭建数据从采集到入湖到训练的数据管理平台,实现数据版本控制、血缘追踪、元数据管理与快速检索能力,支撑多团队统一数据接入与协作;5. 协同大模型团队及其他技术团队,深入理解业务需求,快速响应并落地实现。职位要求1. 计算机、软件工程、人工智能等相关专业,本科及以上学历,5 年以上大规模数据处理或数据平台开发经验;2. 熟练掌握 Python / Go / Java 中至少一门语言,具备扎实的软件工程基础,良好的编程规范与代码质量意识;3. 有以下至少两项实际项目经验: - a. 大规模数据管道 / ETL 系统设计与开发,有数据清洗、转换、入库全链路经验; - b. 分布式消息队列(Kafka / Pulsar / RabbitMQ)的生产级应用,熟悉流式数据处理范式; - c. 分布式数据湖系统(如
数据平台开发工程师 广州 全职 通用智能板块 职位描述 1、平台架构与核心开发:负责数据平台的整体架构设计与核心模块开发,构建稳定、高效、可扩展的后端系统,支撑PB级数据处理需求;2、数据工程与流水线:设计与构建面向海量、多模态AI数据的高性能存储、处理与计算流水线,支持标签、向量检索;3、云原生技术落地:基于Kubernetes生态构建容器化、微服务化的数据平台,实现资源的高效利用与系统的弹性伸缩;4、全栈开发与产品化:负责云平台中后台管理系统及数据可视化界面的前后端研发,将平台能力产品化,为内外部用户提供清晰、易用的操作界面;5、数据治理与优化:设计并落地数据挖掘、数据生产、数据集管理等方案,优化数据生命周期管理。 职位要求 1、基础要求:计算机科学、软件工程或相关专业本科及以上学历,具备扎实的计算机基础;2、 经验要求:3-5年后端/大数据开发经验,对高并发、分布式、高可用系统有深入理解和实战经验;3、技术栈要求: - 精通Golang或Java,熟悉Python; - 熟悉数据湖/仓技术(如Delta Lake, Iceberg、Lance)或OLAP引擎(如StarRocks, Doris); - 熟悉数据仓库建模、ETL流程及调度系统;4、工程素养:具备良好的编码规范、单元测试习惯和代码重构能力,能够胜任从0到1的系统搭建与持续优化;加分项1、有MLOps/DataOps平台建设经验,有Web全栈经验,属性 vue、react 常用组件库;2、熟练掌握Kubernetes及其生态(如Helm、Kustomize );3、有自动驾驶、机器人或智能座舱相关领域经验;4、具备出色的沟通理解力,能精准协同内外;同时拥有强烈的自驱力,能主动发现问题、驱动闭环并持续优化。 投递...