SummaryWe are hiring an SRE to own reliability, performance, data freshness, and operational readiness for our production ETL platform. The platform supports data ingestion, transformation, and loading workflows across Kubernetes-based environments — including Airflow-based loader jobs and
2027届实习-算法数据开发工程师 上海 实习 互联网 / 电子 / 网游 技术 职位描述 1、参与游戏业务离线/实时数仓的日常开发,协助完成简单的 ETL 逻辑编写及报表开发。2、负责日常数据链路的监控与异常排查,学习并实践数据准确性校验逻辑。3、负责数据字典的梳理及技术文档的编写,确保业务逻辑的可追溯性。 职位要求 学历背景:2026 届或 2027 届在校生,统招本科及以上学历,计算机、数学、软件工程等相关专业。编程基础:熟练编写 SQL(理解常见的 Join 原理、聚合函数、开窗函数),对底层逻辑有好奇心,有JAVA/PYTHON基础加分。算法功底:具备优秀的数据结构与算法能力,能够通过代码解决复杂的逻辑问题技术热情:熟悉大数据基本概念(如:知道 Hadoop/Spark/Flink 是做什么的),有分布式系统、数据库原理等相关课程背景。 职位信息 团队介绍: 我们在做什么?我们是业务全球化征程的“开路先锋”与“守护者”。我们的战场不局限于单一机房或单一云端,而是横跨全球多个Region的复杂基础设施。我们需要在维护传统稳态业务的同时推动云原生技术的落地。你将面对的是一个融合了物理机、虚拟机与Kubernetes容器集群的混合架构庞然大物,通过精细化的运维手段,确保全球玩家都能享受到极致流畅的服务体验。你会遇到的挑战驾驭全球多云环境:你需要同时操作 AWS、GCP、阿里云、腾讯云 等多家云厂商的控制台与API,解决跨国网络延迟、数据合规与资源调度难题;混合架构的统一治理:你的纳管对象既有前沿的 CNCF 云原生组件,也有基于虚拟机/物理机的传统应用。如何在两套体系间实现统一的监控、部署与治理,是你的核心课题;构建全球交付流水线:利用 Jenkins / GitLab-Runner 打造适应全球发布的CI/CD系统,让代码能够安全、快速地分发到世界各地的每一个节点;复杂场景的“神探”:面对跨时区、跨地域、跨架构的线上疑难杂症(网络抖动、应用卡顿、资源争抢),进行全链路的排查与恢复。你能获得的宏大的技术视野:很少有校招岗位能让你直接接触全球级别的架构设计与多云异构的管理经验;全栈运维能力:你将同时掌握“传统运维的深厚内功”(Linux底层、网络协议)与“云原生运维的各种招式”(K8s、ServiceMesh);成就感:亲手敲下的命令,将影响地球另一端成千上万用户的实时体验。为了匹配业务的发展,我们在寻找更多志同道合的伙伴加入我们充满活力的团队,一起迎接市场日益激烈的挑战,共同打造更多的爆款! 投递...
Minimum qualifications: Bachelors degree or equivalent practical experience. 6 years of experience with cloud native architecture in a customer-facing or support role. Experience with Big Data technologies or concepts (e.g., analytics warehousing, data processing, data transformation,
Job Description: Job summary: The Regional Data Lead APAC plays a critical role in ensuring core data assets are managed and governed effectively. Working alongside other data leaders, it focuses on enabling the organization to extract
大数据开发工程师 东莞 职能部门类 本科及以上 3-5 年 职位描述 (1)大数据开发1、负责大数据离线开发,使用Sqoop等组件开发每日离线数据采集任务,使用Hive/Spark SQL编写ETL作业过程,处理各种复杂的业务逻辑,根据业务逻辑配置合理的调度顺序;2、负责大数据实时开发,使用Flink/Spark实时计算引擎开发实时流作业,读取接口/文本/数据库日志/消息队列中间件等数据源,经过业务逻辑加工处理后写入大数据平台;3、保障数据产出时效稳定,每天监控数据产出时间,采取调度链路优化,作业优化,SQL优化等手段,提升数据产出效率。(2)集团数据资产建设1、根据各个业务领域项目推进过程中沉淀的数据分析体系,维护成可方便检索,查找和应用的数据资产,包含业务口径,出数频率,数据样例等关键业务和技术元数据;2、根据数据分析师提供的数据质量规则,开发相应的数据校验程序,确保跑数完成后即刻校验,确保高质量的数据资产;3、生成相应的数据服务接口,可供前端应用,BI工具和业务系统调用。(3)数据仓库模型设计1、根据业务领域数据特征以及维度建模的方法,横向划分数据仓库分析主题域,纵向划分层次,达成数据重复利用率高且能快速开发数据需求的目的;2、定义各个数仓分层,考虑数据写入和查询的性能,提升作业的运行速度,报表查询数据时的高复用性和易扩展性;3、通过合理的数据模型设计,提高数据的查询性能和分析效率,降低维护成本。(4)制定规范1、制定公司数据仓库架构设计原则,输出数据仓库模型设计的基本原则;2、制定公司数据开发的开发规范。 职位要求 (1)教育程度:本科毕业3年以上,计算机,信息工程,数学等相关专业毕业;(2)相关经验:具有3年以上大数据开发相关经验;(3)专业能力:1.具备数据仓库架构和设计能力,熟悉维度建模的方法;2.良好的沟通和逻辑思维能力,能够对业务需求进行抽象并据此进行架构设计;3.有过数据资产目录建设和维护的经验;4.熟悉大数据离线和实时开发使用的组件,Hive、Spark、Flink等,熟悉分布式计算和存储的相关原理及高可用机制原理,并可独立排查故障问题;5.熟练使用Dataworks,DolphiScheduler,kettle或其它数据开发工具中的一种;6.熟悉SQL的执行原理,具备优化复杂SQL的能力;7.掌握shell,python,java等编程语言中的一种;8.具有很好的沟通表达能力,勤奋好学,具有很好的团队合作意识。 职位信息 部门: 集团IT部 招聘数量: 1 投递...
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
技术中心 - 数仓开发工程师 广州 技术类 职位描述 1、负责公司海量数据的接入,包括不限于服务端日志、客户端日志、外部聚合数据等,搭建公司数据中台,建设国内海外数据仓库;2、负责实时和离线数据开发,提供高质量、稳定的数据服务,为业务部门赋能;3、参与数据治理,面对PB级存量数据和万亿条级别的新增数据量,提升数据易用性及数据质量,降低数据处理成本;4、负责数仓平台内各种大数据、高并发、数据治理等方面的技术设计和落地;5、负责公司自建大数据的组件维护与调优。 职位要求 1、本科及以上学历,计算机相关专业,三年以上数仓工作经验;2、具备较好的Java/Python编码和SQL能力,能保质保量完成数据建设和数据分析工作;3、熟悉数仓建模理论,有完整数仓的建设经验,熟悉海量数据处理、ETL及任务调度、元数据管理、数据治理;4、熟悉大数据相关工具和框架,如StarRocks、Doris、Flink、Kafka、Hadoop、Hive、Spark、ClickHouse、Trino、Presto、FlinkCDC、Canal、DataX等数仓和ETL工具,具备集群与组件的调优能力;5、具备良好的团队协作和沟通能力,较强的工作规划和执行能力,积极推动项目进度;6、乐于探索新技术和业界新问题的解决方案,学习主动性强。 投递...
数据仓库工程师 深圳 社招 全职 职位描述 1、负责企业级数据仓库及业务数据集市的架构规划、分层设计(ODS/DWD/DWS/ADS)与落地实施,确保架构的先进性、可扩展性与高性能。2、主导核心业务域的数据建模工作,精通维度建模等方法论,设计通用灵活的数据模型与宽表,保障数据的一致性、完整性与复用性。3、设计并实现高效的ETL/ELT数据集成方案,负责数据提取、转换、加载全流程的开发、调度与优化,解决大规模数据处理中的性能瓶颈。4、推进数据治理体系建设,包括数据质量监控、元数据管理、数据血缘追踪、指标体系标准化等,提升整体数据质量与数据资产价值。5、负责数据仓库的日常运维与故障排查,保障数据服务SLA达标,及时响应并解决数据延迟、数据错误等线上问题,确保数据链路稳定可靠。6、深入理解业务需求,与数据分析、业务部门紧密协作,提供高质量的数据支持与解决方案,支撑业务决策、数据产品迭代及精细化运营。 职位要求 一、基础要求1、本科及以上学历,计算机科学、数据科学、信息技术等相关专业。2、3-7年及以上数据仓库设计与开发经验,有完整的企业级数据仓库建设项目经验优先。3、具备强烈的责任心、严谨的逻辑思维、良好的沟通协调能力及团队协作精神,对数据敏感,重视数据质量。二、 技术能力1、精通数据仓库理论体系,深入理解分层架构、主题域建模、维度建模等方法论,能结合业务场景设计合理的数据模型。2、精通SQL/HQL/Spark SQL开发及优化,能高效处理TB/PB级大规模数据集,具备复杂查询性能调优实战经验。3、熟悉大数据生态技术栈,具备Hadoop、Hive、Spark、Flink、Kafka等组件的实战应用经验;了解MPP数据库(ClickHouse、Doris)、OLAP引擎(Kylin、Presto)者优先。4、掌握Java/Python/Scala中的至少一种编程语言,具备良好的代码规范与工程化能力;熟悉ETL工具(DataX、Airflow、Kettle)及任务调度系统者优先。5、具备数据治理相关经验,熟悉数据质量监控、元数据管理、数据血缘分析等工具(如Apache Atlas、Griffin)的使用者优先。三、加分项1、有互联网、金融、电商等行业数据仓库建设经验者优先。2、有数据字典、指标管理体系从0到1搭建经验者优先。 投递...
About the Role We are looking for a Junior Data Engineer to join our data platform team. You will work on building and maintaining data pipelines, supporting cloud-based data infrastructure, and ensuring data availability for downstream
Job Description SummaryReporting to the Director of FP&A, this role is pivotal in bridging the gap between corporate strategy and operational execution. The ideal candidate will leverage financial acumen to optimize cost structures, drive efficiency across
The objective of this role is to support end-to-end data migration from local China-based platforms (both SaaS and on-premise systems) into Microsoft Dynamics 365. The role will focus on understanding data lineage, designing extraction and transformation
Jump Trading Group is committed to world-class research. We empower exceptional talent in Mathematics, Physics, and Computer Science to seek scientific boundaries, push through them, and apply cutting-edge research to global financial markets. Our culture is
BI数据开发高级工程师 北京、上海 全职 产品 / 策划 / 项目 - 数据分析 职位描述 岗位概述负责 Momenta 内部数据体系建设,覆盖研发效能、业务运营、经营管理等多场景的数据链路开发与 BI 落地。通过数据驱动提升组织决策效率,深度参与自动驾驶行业数据价值挖掘。岗位职责1.负责内部业务域数据仓库建设,包含数据模型设计、ETL 开发与性能优化2.搭建公司级指标体系,统一口径,开发 BI 看板与分析报表支撑业务决策3.建立数据质量监控机制,推动数据治理与问题闭环4.对接各部门数据需求,提供分析方案与数据服务支持5.探索自动化工具与 AI 技术应用,提升数据开发效率 职位要求 任职要求:1.985/211 硕士及以上,计算机 / 统计 / 数学等相关专业2.3 年 + 数据开发 / BI 开发经验,有完整数仓项目落地经验3.精通 SQL,熟悉 Hive/Spark 大数据技术栈,掌握 FineBI/Power
数据开发实习生 上海 实习 职能与支持 职位 ID:A41089 职位描述 我们的团队正在使用大模型(LLM)来驱动用户运营和经营决策。实习生的核心职责是为这些AI应用构建和维护高质量的数据基础。你将直接参与将销售、用户行为等原始业务数据,通过SQL/Python和ETL流程,转化为结构化、可训练的AI数据资产。你将亲手构建数据管道,确保数据流的稳定与高效,并参与到大模型预训练和标注数据的生产环节。主要工作职责:1. 业务数据开发与工程 (约70%)- 熟练运用 SQL 进行高效的数据提取、建模、清洗和整合,独立或协助构建稳定的业务数据管道(ETL流程),确保数据质量与时效性。- 负责销售业务数据看板(使用类Tableau内部平台)的底层数据模型支持与维护,保障业务监控的顺利运行。- 协助进行数据仓库的日常管理与优化工作,确保数据资产的结构化和高可用性。2. AI数据资产构建与大模型应用 (约30%)- 协助探索大模型在用户运营/规划与经营领域的应用落地(重点约占此部分工作量的2/3),包括Prompt设计、效果评估与应用迭代。- 深度参与大语言模型的训练与优化流程,负责高质量训练数据的工程化生产与加工,具体包括:指令-回答对编写、复杂任务链数据构建、文本质量排序与分类、多轮对话等数据的精细化标注(核心工作之一)。- 依据严格的标注规范,对模型在不同任务上的输出进行多维度评估与质量打分,为模型迭代提供核心依据。- 主动发现并总结数据标注中的Bad Cases、模型缺陷及数据规律,撰写分析简报,推动数据质量的持续提升。 职位要求 必备条件:1.本科或研究生在读,计算机、统计学、人工智能、数据科学及相关专业背景。2.熟练掌握SQL,具备数据开发思维,能独立编写复杂查询和进行基础数据建模。 有实际数据开发、数据管道或ETL项目经验者优先。3.具备使用 Python(Pandas/Numpy)进行数据清洗、处理和分析的实战经验。4.具备扎实的数据结构与逻辑思维,注重数据处理的效率与质量。5.卓越的中文书面表达能力,行文严谨、流畅,注重细节。6.对AI技术充满好奇心,具备快速学习的能力和主动负责的态度。加分项:1.了解大模型基本概念(如Prompt Engineering、微调、RLHF)。2.拥有数据标注、内容创作、编辑校对或相关实践经验。3.具备良好的英文阅读能力,能查阅技术文档。 投递...
数据开发实习生 上海 实习 数字技术 职位 ID:A201165 职位描述 1. 数据管道开发与维护(约50%)-构建和维护稳定的ETL任务,支撑渠道分析、用户增长等核心分析场景;-从多源(数据仓库、业务库、第三方接口)抽取、清洗、整合数据,确保数据链路高效可靠;-监控数据质量,定位和解决数据延迟、缺失、重复等问题,建立数据质量告警机制。2. 数据可视化工具运维与用户支持(约30%)-负责日常数据看板(类 Tableau / 内部 BI 平台)的搭建和运维工作,包括权限管理、看板发布、数据源更新等;-对接业务用户(渠道运营、区域销售等),解答看板使用过程中的各类问题,协助用户理解图表含义和数据口径;-排查数据异常问题(如数据对不上、刷新失败、加载慢),追溯根因(前端配置、底层 SQL、ETL 链路等)并推动解决。3. AI工具应用与效率创新(约20%)-在日常开发中主动引入AI工具(如Copilot、Cursor、Claude)辅助代码生成、SQL优化、测试用例构建;-探索AI辅助数据工程落地场景,例如:用Prompt自动生成ETL代码模板、异常数据自动归因、自然语言转SQL(NL2SQL);-沉淀可复用的AI辅助开发工作流,提升团队整体工程效率。 职位要求 1.本科或研究生在读,计算机、软件工程、数据科学、信息管理或相关专业;2.熟练掌握SQL,能写复杂查询并理解执行计划,有SQL调优经验;3.熟悉Python,熟练使用Pandas处理数据,有脚本化ETL经验;4.熟悉常见数据可视化工具(如 Tableau、Power BI、Superset 或类似BI平台);5.了解数据建模基本概念(事实表、维度表、缓慢变化维等)。 投递...
Worldwide Global Selling has been helping individuals and businesses increase sales and reach new customers around the globe. Today, more than 50% of Amazons total unit sales come from third-party selection. The Global Selling team in
数据开发工程师-2027校招 深圳 校招 正式 职位描述 1、参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据仓库,负责ETL开发、优化与维护;2、参与各业务模块的数仓项目,与数据分析师配合,与需求部门进行有效沟通,完成数据需求及数据问题解决;3、按照项目标准和流程进行数据开发,确保数据处理质量和效率,发现潜在问题并协助团队制定改进措施;4、完成日常数据质量监控,跟踪处理各类数据质量问题;5、协助部门推进其他与数据仓库相关的工作。 职位要求 1、本科及以上学历,大数据技术、计算机科学等相关专业; 2、熟练使用SQL语言,熟悉常用的Linux命令,熟悉数据仓库各类模型建模理论;3、熟悉大数据生态,包括但不限于 Hadoop/hive/hbase/spark/kafka/flink等;4、具备较强的学习能力,良好的沟通能力和团队合作精神,能够积极响应工作挑战;5、有数仓相关实习经验者优先。 投递...
数据工程师-2027校招 深圳 校招 正式 职位描述 1、负责公司数据仓库建设与ETL开发,参与数仓分层建模、数据清洗、指标体系搭建;2、基于Hive/Spark SQL完成离线数据开发,协助实时数仓链路迭代,保障数据准时、稳定产出;3、承接业务数据分析、报表、看板数据需求,统一业务指标口径;4、参与数据治理、数据质量监控、异常排查,提升公司数据规范性与可用性。 职位要求 1、统招本科及以上,计算机、大数据、统计、软件工程等相关专业;2、SQL基础扎实,熟练关联查询、窗口函数、复杂统计,有SQL调优意识;3、了解数据仓库分层、维度建模基本思想;4、掌握Python基础,熟悉Linux常用命令;5、踏实好学、逻辑清晰,对大数据和数据业务感兴趣。 投递...
SummaryImagine what you could do here. At Apple, new ideas have a way of becoming extraordinary products, services, and customer experiences very quickly. Bring passion and dedication to your work, and theres no telling what you