Location:CN-Shenzhen-HyQ Shift:Standard - 40 Hours (China) Scheduled Weekly Hours:40 Worker Type:Permanent Job Summary:This role is a critical part of the Enterprise data team involved in the replacement of legacy ETL tool by providing key data engineering activities
大数据开发工程师-汽车专项-实习上海校招实习软件研发类职位描述方向一:1.负责智能网联平台大数据需求分析、输出技术方案、数据开发工作;2.参与智能网联平台整车数仓建设及数据集市建设(数据ETL、数据建模、指标开发);3.参与智能网联平台大数据平台建设(离线/实时计算、数据质量、数据可视化、数据服务开发);4.负责智能网联大数据应用功能模块部署上线、线上问题分析、跟踪解决。方向二:负责电驱,电池,热管理等动力零部件的用户画像负责动力零部件的大数据健康监控和分析负责动力零部件的大数据转化,生成加速试验工况负责测试数据的云端自动化分析等处理分析任务职位要求1.计算机、软件工程、数据科学、统计学相关专业;2.熟练掌握SQL语言,熟练掌握Spark SQL&Spark离线计算、Flink实时计算技术优先;3.掌握数据仓库基本概念(如星型模型、雪花模型、数据分层),有数据仓库建模或ETL开发经验者优先;4.掌握Python编程语言,熟悉Pandas、NumPy等数据处理库,掌握一定的机器学习、深度学习算法,了解LLM相关知识&Java编程语言是加分项;5.有良好的沟通能力,能高效完成安排的工作;投递...
数据仓库工程师 北京 全职 互联网 / 电子 / 网游 职位描述 我们正在寻找一位基础扎实、对数据敏感的数据仓库开发工程师。您将负责设计、构建、优化和维护公司核心业务决策所依赖的数据仓库、数据集市及相关数据资产,确保数据的高质量、一致性和可访问性,为业务决策提供坚实的数据基础。1 负责业务数据仓库的设计和优化,包括数据模型设计、ETL/ELT流程开发,性能优化,数据质量保障,支持业务快速迭代。2 管理数据仓库中的元数据信息,包括数据来源、数据定义和数据关系,提升数据可发现性和可理解性。3 与数据分析师、产品经理及业务部门紧密协作,理解业务需求并转化为高效的数据解决方案。 职位要求 1 3年以上大数据/数仓开发经验,能够编写复杂SQL,精通数仓建模方法论,以及在社交,游戏,电商等领域有实际的项目交付经验2 熟练掌握常用的大数据组件,了解其使用场景和优势。包括但不限于:Hive/Presto/StarRocks/Spark/Flink 等3 至少掌握一种编程语言,包括但不限于:Python/Java/Scala等,具备良好的工程化思维。4 具备良好的数据质量管理意识,能够设计并实施数据质量监控体系5 优秀的沟通能力和团队协作精神,能够与非技术团队有效沟通数据需求。具备以下项目经验优先考虑1 有大规模数据仓库设计与优化经验,处理过PB级数据,了解数据湖,有iceberg 项目经验2 具备数据治理、元数据管理相关项目经验 投递...
资深大数据开发 上海 全职 平台类 职位描述 1、负责离线和实时数据仓库的搭建与优化,保障数据的准确、完整和高效可用;2、根据业务需求设计合理的数据模型,开发高效ETL流程,进行数据分层与数据治理;3、跟进数据产品在业务场景中的落地,开发数据应用和分析工具,提升数据服务的易用性和价值;4、负责大数据平台和任务的性能调优、解决各类技术难题,保障系统的稳定与高效运行;5、深入理解游戏业务,对接业务部门,制定并实现复杂业务的数据解决方案;6、持续跟踪大语言模型等前沿技术发展,将数据开发能力转化为可落地的智能化实践经验。 职位要求 1、本科及以上学历,计算机、软件工程、数据分析或相关专业,5年以上大数据开发经验;2、精通Java、Python等至少一门编程语言,扎实的代码功底和算法能力;3、熟练掌握Hadoop、Hive、Spark、Flink、Kafka等大数据生态组件,有阿里云Maxcompute、ADB开发经验者优先;4、熟悉数据仓库理论体系,分层设计与维度建模,有PB级数据处理经验者优先;5、业务理解能力强,能够独立对接复杂业务需求,善于沟通和团队协作;6、逻辑思维强,有良好的技术敏感度和学习驱动力,抗压能力强,有责任心和团队合作精神;7、熟悉大语言模型等前沿技术,具备大语言模型等前沿技术应用能力。 投递...
大数据开发工程师 上海 全职 互联网 / 电子 / 网游 职位描述 我们是一支年轻有活力的数据支撑团队,有多名经验丰富的数据从业者,涵盖了大数据,数据仓库,数据分析师等专业领域,支撑了公司PB级别的数据服务。我们期待您的加入,我们会有定期的技术分享,会有经验丰富的人来帮助你迅速成长,我们也希望你能够给我们带来新的东西,让我们一起成长~岗位职责:1. 基于大数据平台进行数据开发,主要是基于Flink的实时ETL和指标开发;2. 负责开发项目的运营决策和数据分析报表;3. 密切配合游戏项目组,提供相应的数据支撑。任职要求:1. 本科及以上学历,计算机相关专业,2年及以上实时方向的数据仓库或大数据开发经验;2. 熟练掌握Java、SQL等开发语言,能熟练使用Java开发Flink实时任务,有过中大型Java后端项目开发经验优先;3. 熟悉市面上流行的OLAP即席查询数据库,例如StarRocks、Clickhouse、Doris;4. 熟悉Kafka的使用和原理;5. 了解主流云厂商的数据平台和大数据组件;6. 能够明确自己当前的定位和未来的成长规划;7. 热爱游戏行业,工作认真负责。我们秉承“BE WILD. BE FREE.”的品牌主张,坚持始终创业、简单务实、开放包容、勇于担当的文化理念。在这里——【态度】我们讲求自驱,不设边界,没有人能定义你的舞台和天花板;【氛围】内部真·扁平,新人的意见、不同的观点都有可能成为波克前行的关键;【成长】入职即有指导人和成长伙伴双cover,内部分享+外聘大神助你突破自我;【生活】一日三餐下午茶,房补公寓任你选,节日社团境外游.让游戏不只是工作,更是你的生活! 投递...
技术中心 - 数仓开发工程师 广州 技术类 职位描述 1、负责公司海量数据的接入,包括不限于服务端日志、客户端日志、外部聚合数据等,搭建公司数据中台,建设国内海外数据仓库;2、负责实时和离线数据开发,提供高质量、稳定的数据服务,为业务部门赋能;3、参与数据治理,面对PB级存量数据和万亿条级别的新增数据量,提升数据易用性及数据质量,降低数据处理成本;4、负责数仓平台内各种大数据、高并发、数据治理等方面的技术设计和落地;5、负责公司自建大数据的组件维护与调优。 职位要求 1、本科及以上学历,计算机相关专业,三年以上数仓工作经验;2、具备较好的Java/Python编码和SQL能力,能保质保量完成数据建设和数据分析工作;3、熟悉数仓建模理论,有完整数仓的建设经验,熟悉海量数据处理、ETL及任务调度、元数据管理、数据治理;4、熟悉大数据相关工具和框架,如StarRocks、Doris、Flink、Kafka、Hadoop、Hive、Spark、ClickHouse、Trino、Presto、FlinkCDC、Canal、DataX等数仓和ETL工具,具备集群与组件的调优能力;5、具备良好的团队协作和沟通能力,较强的工作规划和执行能力,积极推动项目进度;6、乐于探索新技术和业界新问题的解决方案,学习主动性强。 投递...
【集团】业财系统技术架构师 上海 全职 职位描述 1. 技术架构设计与规划:主导业财系统数据架构集成架构设计,制定技术标准与规范,构建支撑全球业务的业财一体化平台;主导技术选型(开发语言、框架、中间件、数据库),把控技术债务与演进节奏。2. 核心模块研发与攻关:负责业财系统核心模块(应收应付、会计引擎)的设计与核心代码实现,主导技术难点攻关,确保系统高性能、高可用、易扩展。3. 跨国系统集成:主导业财系统与SAP/NCC、快递业务系统、支付系统、银行系统、税务系统等上下游系统的集成设计与开发,解决跨系统事务一致性、数据同步等复杂问题。4. 运维体系建设:建立业财系统运维体系,设计并落地监控告警、日志分析、故障应急、容量规划等能力,保障系统7×24稳定运行;推动DevOps/SRE实践,提升团队交付效率与系统可靠性。5. 复杂项目群管理:作为技术负责人,协同研发、测试、业务方及外部供应商,推动大型跨模块项目按时高质量落地;对项目优先级、技术风险、资源冲突做出高效决策。 职位要求 技术要求1. 后端技术能力- 精通 Java(Spring Boot / Spring Cloud / MyBatis / JPA),具备高并发、高可用企业级系统开发经验- 精通 微服务架构(服务拆分、API网关、分布式事务 Seata/Saga、服务治理灰度发布)- 精通 消息队列(Kafka / RabbitMQ)在财务场景中的应用(如异步对账、事件驱动结算)2. 数据库与存储- 精通 MySQL / PostgreSQL 设计与调优,熟悉读写分离、分库分表、数据库中间件(ShardingSphere/MyCat)- 熟悉
Wati is the worlds leading WhatsApp-first conversational growth platform, empowering businesses to build deeper customer relationships and accelerate revenue growth. Trusted and loved by over 14,000 customers across 100+ countries, Wati has established itself as the
Job Description Summary Job Description As a Data Engineer Intern, you will contribute to building and maintaining robust data pipelines and infrastructure that support our advanced analytics and operational initiatives within the aviation sector. Job Responsibilities:
AI应用系统架构师 深圳 全职 互联网 / 电子 / 网游 职位描述 1. 系统架构设计负责科技情报知识服务平台整体技术架构设计,包括智慧服务门户、科技信息展示、新型高端智库、科技专题服务、数据社区支撑等核心系统的架构规划与设计;2. 技术选型与规范主导技术栈选型决策,制定开发规范、接口规范、数据规范,确保多团队协作的技术一致性;3. AI能力集成设计大语言模型(如GLM)服务化架构,规划学者分析、智能推荐、自动摘要、多模态解析等AI能力的接入方案;4. 数据架构设计负责论文、专利、人才、政策等海量科技数据的存储架构设计,包括数据建模、分库分表策略、搜索引擎集成等;5. 架构评审与优化对各子系统技术方案进行评审,识别技术风险,持续优化系统性能、安全性与可扩展性;6. 技术文档输出编写概要设计、详细设计中的架构部分,输出系统架构图、部署架构图、数据流图等核心文档;7. 团队协作与产品、前端、后端、算法、运维团队紧密协作,推动技术方案落地实施。 职位要求 必备条件1. 本科及以上学历,计算机、软件工程或相关专业,3年以上开发经验,2年以上架构设计经验,有扎实的计算机基础知识(如数据结构、算法、系统设计)2. 精通分布式系统架构设计,熟悉微服务架构、消息队列(Kafka/RabbitMQ)、缓存(Redis)、搜索引擎(Elasticsearch)等技术;3. 熟练掌握Python/Go/Java语言中至少一种,具备优秀的代码编写能力和工程实现的经验;4. 熟悉至少一种主流云平台(阿里云/腾讯云/华为云),具备云原生架构设计能力;5. 具备大数据平台或知识图谱相关项目架构经验,熟悉数据建模和ETL流程;6. 具备良好的文档撰写能力,能输出清晰的架构设计文档;7. 具备优秀的沟通协调能力,能够推动跨团队技术方案落地。优先条件1. 有大语言模型(LLM)应用架构或AI中台建设经验者优先;2. 有政府/央企/科研机构项目交付经验者优先。 投递...
数据仓库工程师 上海 社招 全职 职能与支持 - 数据分析 本科及以上 3-5 年 职位描述 1. 调研现有系统数据情况,并根据业务模块和需求,参与数据仓库设计与研发,建设电驱/电池工业化核心数据资产;2. 负责从多个系统及数据源进行数据获取,并根据数据标准同步至数据湖,保证数据的完整性和准确性;3. 负责不同技术场景下的数据获取和使用开发方案落地(实时、离线);4. 负责数据治理体系的完善和实施,打造稳定可靠的数据服务和保障体系;5. 与业务团队、算法团队、产品团队紧密合作,参与数据产品和应用的数据研发,与产品一起打造极致体验的数据产品。6. 负责数据化运营,沉淀算法和数据分析思路,协作并推动数据化运营项目落地; 职位要求 1. 计算机、软件工程、自动化等相关专业本科及以上;2. 3-7年大数据工程实施经验,数据仓库建模和开发,了解目前主流大数据技术,如流批一体、数据湖等;3. 熟练掌握hive、spark等大数据工具,具备海量数据加工处理(ETL)相关经验,具备丰富的优化经验。熟练使用Java、Python等语言,熟悉hive UDF开发;4. 能独立负责业务域数据仓库开发及维护、数据仓库模型、数据报表等工作内容;熟悉数据仓库模型设计,掌握常用数据建模方法;5. 熟悉数据治理方法论、具备一定的数据治理经验;6. 较好的业务理解和数据洞察能力,能直接和业务对话,快速进行需求的理解和落地;7. 具有良好的团队合作和沟通能力,有很强的自驱力,能主动为结果负责; 投递...
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
大数据开发工程师-汽车专项-实习 简历急缺 南京 校招 实习 软件研发类 职位描述 方向一:1.负责智能网联平台大数据需求分析、输出技术方案、数据开发工作;2.参与智能网联平台整车数仓建设及数据集市建设(数据ETL、数据建模、指标开发);3.参与智能网联平台大数据平台建设(离线/实时计算、数据质量、数据可视化、数据服务开发);4.负责智能网联大数据应用功能模块部署上线、线上问题分析、跟踪解决。方向二:负责电驱,电池,热管理等动力零部件的用户画像负责动力零部件的大数据健康监控和分析负责动力零部件的大数据转化,生成加速试验工况负责测试数据的云端自动化分析等处理分析任务 职位要求 1.计算机、软件工程、数据科学、统计学相关专业;2.熟练掌握SQL语言,熟练掌握Spark SQL&Spark离线计算、Flink实时计算技术优先;3.掌握数据仓库基本概念(如星型模型、雪花模型、数据分层),有数据仓库建模或ETL开发经验者优先;4.掌握Python编程语言,熟悉Pandas、NumPy等数据处理库,掌握一定的机器学习、深度学习算法,了解LLM相关知识&Java编程语言是加分项;5.有良好的沟通能力,能高效完成安排的工作; 投递...
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
数据管线高级工程师 广州 全职 通用智能板块 职位描述 1. 负责数据闭环核心链路的设计与建设,开发数据清洗、标注质检、数据挖掘等工具链,支撑算法团队快速定位模型错误案例,驱动模型迭代优化;2. 负责生产研发流程的数据支持,如日志埋点、车联网数据、内部与外部数据的采集、数据同步、数据清洗与标准化、数据模型设计、离线数据处理、实时数据处理、数据服务化、数据可视化等;支持自动驾驶、智能座舱、海外数据采集、机器人数据采集等业务的开展;3. 负责数据采集、清洗、转换全链路的性能优化,解决大规模数据传输、内存管理、I/O 等瓶颈问题,搭建高吞吐、低延迟的分布式数据处理系统;4. 负责搭建数据从采集到入湖到训练的数据管理平台,实现数据版本控制、血缘追踪、元数据管理与快速检索能力,支撑多团队统一数据接入与协作;5. 协同大模型团队及其他技术团队,深入理解业务需求,快速响应并落地实现。职位要求1. 计算机、软件工程、人工智能等相关专业,本科及以上学历,5 年以上大规模数据处理或数据平台开发经验;2. 熟练掌握 Python / Go / Java 中至少一门语言,具备扎实的软件工程基础,良好的编程规范与代码质量意识;3. 有以下至少两项实际项目经验: - a. 大规模数据管道 / ETL 系统设计与开发,有数据清洗、转换、入库全链路经验; - b. 分布式消息队列(Kafka / Pulsar / RabbitMQ)的生产级应用,熟悉流式数据处理范式; - c. 分布式数据湖系统(如
数据平台开发工程师 广州 全职 通用智能板块 职位描述 1、平台架构与核心开发:负责数据平台的整体架构设计与核心模块开发,构建稳定、高效、可扩展的后端系统,支撑PB级数据处理需求;2、数据工程与流水线:设计与构建面向海量、多模态AI数据的高性能存储、处理与计算流水线,支持标签、向量检索;3、云原生技术落地:基于Kubernetes生态构建容器化、微服务化的数据平台,实现资源的高效利用与系统的弹性伸缩;4、全栈开发与产品化:负责云平台中后台管理系统及数据可视化界面的前后端研发,将平台能力产品化,为内外部用户提供清晰、易用的操作界面;5、数据治理与优化:设计并落地数据挖掘、数据生产、数据集管理等方案,优化数据生命周期管理。 职位要求 1、基础要求:计算机科学、软件工程或相关专业本科及以上学历,具备扎实的计算机基础;2、 经验要求:3-5年后端/大数据开发经验,对高并发、分布式、高可用系统有深入理解和实战经验;3、技术栈要求: - 精通Golang或Java,熟悉Python; - 熟悉数据湖/仓技术(如Delta Lake, Iceberg、Lance)或OLAP引擎(如StarRocks, Doris); - 熟悉数据仓库建模、ETL流程及调度系统;4、工程素养:具备良好的编码规范、单元测试习惯和代码重构能力,能够胜任从0到1的系统搭建与持续优化;加分项1、有MLOps/DataOps平台建设经验,有Web全栈经验,属性 vue、react 常用组件库;2、熟练掌握Kubernetes及其生态(如Helm、Kustomize );3、有自动驾驶、机器人或智能座舱相关领域经验;4、具备出色的沟通理解力,能精准协同内外;同时拥有强烈的自驱力,能主动发现问题、驱动闭环并持续优化。 投递...
AI数据开发工程师(实习生) 上海 实习 智能制造 / 工业互联网 / 工业自动化 职位描述 1. 数据自动上传等多路数据的稳定传输与断点续传。 2. 构建数据版本化管理与元数据索引。3. 数据自动化处理流水线搭建。4. 自动化标注搭建。 5. 数据大盘开发与可靠性维护 。 职位要求 1. 有后端开发经验,精通 Go/Python/Java,熟悉分布式系统设计模式。 2. 熟悉容器化技术,消息队列以及分布式存储hdfs等,熟悉mongodb、doris数据库。 3. 有Airflow/Luigi/Kubeflow等ETL实战经验,处理过TB数据。 -4. 有自动化标注系统开发经验加分项:开发过智能驾驶/机器人数据平台,熟悉MAVLink协议或ROS数据格式。 投递...
Job Summary: Leads projects for design, development and maintenance of a data and analytics platform. Effectively and efficiently process, store and make data available to analysts and other consumers. Works with key business stakeholders, IT experts
车载测试(仪表、T-box、导航、ADAS) 保定 全职 研发 - 测试 职位描述 职责描述:对自动驾驶数据闭环系统的数据测试,包括1. 基于自动驾驶大数据处理平台(例如Hadoop/Spark),利用数据挖掘、机器学习等相关算法,解决自动驾驶业务需求,为自动驾驶评测、功能迭代,运营决策提供测试支持2. 用java/python/shell/javascript其中至少一种编程语言,能够开发自动化测试脚本完成数据验证3. 负责自动驾驶领域的数据测试,从场景,评价,用户,运营等多个维度挖掘数据价值,发现数据和业务背后规律,应用于产品研发、用户运营、商业等各种领域4.有hadoop, hive,Zookeeper,Hbase,Spark,ElastivSearch,Kafka,Flink,flume等分布式开源软件测试和应用经验。掌握基于分布式系统的ETL,数据仓库,BI报表的测试流程及方法。 职位要求 任职要求:1、具备数据一致性、完整性、准确性、安全性测试设计及实施经验2、具备处理大量数据和复杂算法的测试技巧,包括不限于能编写针对数据化产品类的自动化框架和脚本3、具备良好的数据分析和问题解决能力,能够快速定位问题,提出解决方案,同时具备良好的沟通能力,能有效地与开发团队、产品团队和其他测试团队合作4. 具备扎实的测试理知识,有测试需求分析经验能独立设计数据相关和编写测试用例5.熟悉Mysql/mongoDB,熟练掌握SaL,具备较强的思维逻辑能力,可完成复杂查询。6.有hadoop, hive,Zookeeper,Hbase,Spark,ElastivSearch,Kafka,Flink,flume等分布式开源软件测试和应用经验。掌握基于分布式系统的ETL,数据仓库,BI报表的测试流程及方法。7.熟练使用java/python/shell/javascript其中至少一种编程语言,能够开发自动化测试脚本完成数据验证8、3年以上相关工作经验,有汽车行业相关云平台、数据闭环平台、互联网或智驾相关领域经验者优先;9、面试优秀者,学历可放宽至专科 投递...