大数据开发工程师 东莞 职能部门类 本科及以上 3-5 年 职位描述 （1）大数据开发1、负责大数据离线开发，使用Sqoop等组件开发每日离线数据采集任务，使用Hive/Spark SQL编写ETL作业过程，处理各种复杂的业务逻辑，根据业务逻辑配置合理的调度顺序；2、负责大数据实时开发，使用Flink/Spark实时计算引擎开发实时流作业，读取接口/文本/数据库日志/消息队列中间件等数据源，经过业务逻辑加工处理后写入大数据平台；3、保障数据产出时效稳定，每天监控数据产出时间，采取调度链路优化，作业优化，SQL优化等手段，提升数据产出效率。（2）集团数据资产建设1、根据各个业务领域项目推进过程中沉淀的数据分析体系，维护成可方便检索，查找和应用的数据资产，包含业务口径，出数频率，数据样例等关键业务和技术元数据；2、根据数据分析师提供的数据质量规则，开发相应的数据校验程序，确保跑数完成后即刻校验，确保高质量的数据资产；3、生成相应的数据服务接口，可供前端应用，BI工具和业务系统调用。（3）数据仓库模型设计1、根据业务领域数据特征以及维度建模的方法，横向划分数据仓库分析主题域，纵向划分层次，达成数据重复利用率高且能快速开发数据需求的目的；2、定义各个数仓分层，考虑数据写入和查询的性能，提升作业的运行速度，报表查询数据时的高复用性和易扩展性；3、通过合理的数据模型设计，提高数据的查询性能和分析效率，降低维护成本。（4）制定规范1、制定公司数据仓库架构设计原则，输出数据仓库模型设计的基本原则；2、制定公司数据开发的开发规范。 职位要求 （1）教育程度：本科毕业3年以上，计算机，信息工程，数学等相关专业毕业；（2）相关经验：具有3年以上大数据开发相关经验；（3）专业能力：1.具备数据仓库架构和设计能力，熟悉维度建模的方法；2.良好的沟通和逻辑思维能力，能够对业务需求进行抽象并据此进行架构设计；3.有过数据资产目录建设和维护的经验；4.熟悉大数据离线和实时开发使用的组件，Hive、Spark、Flink等，熟悉分布式计算和存储的相关原理及高可用机制原理，并可独立排查故障问题；5.熟练使用Dataworks，DolphiScheduler，kettle或其它数据开发工具中的一种；6.熟悉SQL的执行原理，具备优化复杂SQL的能力；7.掌握shell，python，java等编程语言中的一种；8.具有很好的沟通表达能力，勤奋好学，具有很好的团队合作意识。 职位信息 部门： 集团IT部 招聘数量： 1 投递...
Java数据平台开发 上海 全职 平台类 职位描述 1. 参与叠纸大数据平台和数据中台建设；2. 参与构建流批一体的数据自助分析平台，支持业务方自助进行数据的快速定位和分析；3. 在传统大数据开发和数仓建模的基础上，探索创新的方案，构建自动化、智能化的建模引擎；4. 保证大数据平台相关服务的稳定性、高可用性，不断优化服务性能。 职位要求 1. 计算机相关专业本科以上学历，5年以上Java相关工作经验；2. 熟练使用常用的JAVA技术框架，并对JAVA Web的各种主流框架如Spring、SpringBoot、MyBatis、Kafka等有深入的应用和优化经验，掌握它的原理和机制；3. 熟练掌握微服务开发和架构设计，有大型复杂业务系统架构设计经验者优先；4. 熟悉一种或多种大数据相关组件者优先，比如：Flink，Spark，Hive，元数据管理等，对组件的原理有深入的了解；5. 具有良好的学习能力、团队协助以及沟通能力，执行力强，对工作有责任心，具备良好的规划、沟通以及协调能力；6. 有数据类产品落地交付经验者优先。加分项：1. 了解python语言，有爬虫、pandas等开发经验更佳；2. 有阿里云平台DataWorks、Hologres、MaxCompute、ADB使用经验；3. 有DataX/HDFS/HIVE等开源工具实际生产使用经验者优先，熟悉源码实现者更佳；4. 有用skills提高开发效率落地场景的经验更佳。 投递...
AI数据开发实习生 上海 实习 职位描述 需求辅助工作：跟随导师参与业务需求调研、业务场景梳理，协助拆分业务逻辑、编写数据需求初稿；协助整理 AI 智能化落地项目资料，学习业务转数据需求思路。数仓 & ETL 辅助开发：协助正式工程师完成数仓基础维护、数据表梳理、ETL 任务调试、数据血缘梳理；参与 AI 项目原始数据归集、数据清洗、特征预处理、训练数据集整理等工作。可视化报表支撑：使用 FineBI/Tableau/PowerBI 协助制作、校验、迭代业务报表与数据看板，核对报表数据；辅助 AI 智能预警、智能分析类可视化产品的数据测试与落地。数据质量管控：按规范执行数据质量巡检，记录数据异常问题，跟进问题整改跟进；协助完善 AI 训练数据集、推理数据的质检规范与落地校验。跨团队协作：协同业务、算法、后端团队完成日常沟通、文档归档、问题记录，支撑 AI + 数据数字化项目落地。技术沉淀与实践：学习大数据、AI 数据开发前沿技术，在导师指导下完成小范围技术调研、小型需求落地，为 27 届正式入职积累项目实战经验。 职位要求 计算机、大数据、统计学、数学、软件工程等相关专业，实习周期≥3 个月，全勤到岗，优先可长期实习至毕业入职。专业基础：掌握数据库原理，熟练基础 SQL，能独立编写多表关联、聚合查询；了解数据仓库、星型 / 雪花模型、ETL 基础概念。技能要求掌握 Python 基础，会 Pandas、Numpy 进行数据处理，做过数据清洗、数据集加工项目优先；了解
GCIO - Asia & Middle East Technology Our GCIO organisation plays a critical role for the bank. This team partners with the businesses to build the platforms, systems, and products that our customers use every day.
TapTap 大数据开发实习生（上海） 上海 实习 互联网 / 电子 / 网游 技术大类 TapTap 职位描述 1、参与 AI 数据研发能力建设，探索自然语言数据分析、Text-to-SQL、AI 辅助数据校验、智能报表生成等方向；2、参与数据 Agent / AI 数据工具建设，将数据表、指标口径、元数据、知识库等能力封装为可被 AI 调用的工具，提升数据分析和研发效率；3、面向商店、内容、开发者运营等业务方向，参与专题数据建设、指标开发、看板底表和数据分析支持，帮助业务理解用户行为、内容表现和产品效果；4、参与离线 / 实时数据研发，包括数据清洗、建模、任务开发、数据校验和链路监控，保障数据产出的准确性和稳定性；5、参与 TapTap 基础数据建设，沉淀公共数据表、指标口径、数据质量校验等通用数据能力，提升业务分析和产品决策效率。 职位要求 1、研究生及以上学历，计算机、软件工程、数据科学、统计学等相关专业优先；2027 届、2028 届在校生，能连续实习 6 个月及以上，每周到岗 4-5 天；2、对 AI 与数据工程结合有兴趣，愿意参与