AI数据开发实习生 上海 实习 职位描述 需求辅助工作:跟随导师参与业务需求调研、业务场景梳理,协助拆分业务逻辑、编写数据需求初稿;协助整理 AI 智能化落地项目资料,学习业务转数据需求思路。数仓 & ETL 辅助开发:协助正式工程师完成数仓基础维护、数据表梳理、ETL 任务调试、数据血缘梳理;参与 AI 项目原始数据归集、数据清洗、特征预处理、训练数据集整理等工作。可视化报表支撑:使用 FineBI/Tableau/PowerBI 协助制作、校验、迭代业务报表与数据看板,核对报表数据;辅助 AI 智能预警、智能分析类可视化产品的数据测试与落地。数据质量管控:按规范执行数据质量巡检,记录数据异常问题,跟进问题整改跟进;协助完善 AI 训练数据集、推理数据的质检规范与落地校验。跨团队协作:协同业务、算法、后端团队完成日常沟通、文档归档、问题记录,支撑 AI + 数据数字化项目落地。技术沉淀与实践:学习大数据、AI 数据开发前沿技术,在导师指导下完成小范围技术调研、小型需求落地,为 27 届正式入职积累项目实战经验。 职位要求 计算机、大数据、统计学、数学、软件工程等相关专业,实习周期≥3 个月,全勤到岗,优先可长期实习至毕业入职。专业基础:掌握数据库原理,熟练基础 SQL,能独立编写多表关联、聚合查询;了解数据仓库、星型 / 雪花模型、ETL 基础概念。技能要求掌握 Python 基础,会 Pandas、Numpy 进行数据处理,做过数据清洗、数据集加工项目优先;了解
Job Responsibilities Architect Operational Technology (OT) Data Pipelines: Design, build, and optimize high-availability data acquisition, ingestion, and preprocessing systems for industrial on-site (OT) equipment and IoT sensors. Advance Data Warehousing: Develop and maintain scalable, robust enterprise
Job ID: 41426 | Location: Shanghai, Shanghai, China | Work Model: Onsite Total Target Cash Compensation: ¥164,250.00 – ¥219,000.00 Responsibilities Conduct basic synthetic experiments precisely and independently following standard experiment protocols or guided by scientists •
大数据开发工程师 东莞 职能部门类 本科及以上 3-5 年 职位描述 (1)大数据开发1、负责大数据离线开发,使用Sqoop等组件开发每日离线数据采集任务,使用Hive/Spark SQL编写ETL作业过程,处理各种复杂的业务逻辑,根据业务逻辑配置合理的调度顺序;2、负责大数据实时开发,使用Flink/Spark实时计算引擎开发实时流作业,读取接口/文本/数据库日志/消息队列中间件等数据源,经过业务逻辑加工处理后写入大数据平台;3、保障数据产出时效稳定,每天监控数据产出时间,采取调度链路优化,作业优化,SQL优化等手段,提升数据产出效率。(2)集团数据资产建设1、根据各个业务领域项目推进过程中沉淀的数据分析体系,维护成可方便检索,查找和应用的数据资产,包含业务口径,出数频率,数据样例等关键业务和技术元数据;2、根据数据分析师提供的数据质量规则,开发相应的数据校验程序,确保跑数完成后即刻校验,确保高质量的数据资产;3、生成相应的数据服务接口,可供前端应用,BI工具和业务系统调用。(3)数据仓库模型设计1、根据业务领域数据特征以及维度建模的方法,横向划分数据仓库分析主题域,纵向划分层次,达成数据重复利用率高且能快速开发数据需求的目的;2、定义各个数仓分层,考虑数据写入和查询的性能,提升作业的运行速度,报表查询数据时的高复用性和易扩展性;3、通过合理的数据模型设计,提高数据的查询性能和分析效率,降低维护成本。(4)制定规范1、制定公司数据仓库架构设计原则,输出数据仓库模型设计的基本原则;2、制定公司数据开发的开发规范。 职位要求 (1)教育程度:本科毕业3年以上,计算机,信息工程,数学等相关专业毕业;(2)相关经验:具有3年以上大数据开发相关经验;(3)专业能力:1.具备数据仓库架构和设计能力,熟悉维度建模的方法;2.良好的沟通和逻辑思维能力,能够对业务需求进行抽象并据此进行架构设计;3.有过数据资产目录建设和维护的经验;4.熟悉大数据离线和实时开发使用的组件,Hive、Spark、Flink等,熟悉分布式计算和存储的相关原理及高可用机制原理,并可独立排查故障问题;5.熟练使用Dataworks,DolphiScheduler,kettle或其它数据开发工具中的一种;6.熟悉SQL的执行原理,具备优化复杂SQL的能力;7.掌握shell,python,java等编程语言中的一种;8.具有很好的沟通表达能力,勤奋好学,具有很好的团队合作意识。 职位信息 部门: 集团IT部 招聘数量: 1 投递...
At AIA we’ve started an exciting movement to create a healthier, more sustainable future for everyone. As pioneering innovators for over 100 years, we’re now transforming our organisation to be faster, simpler and more connected. Because