高级大数据开发工程师 北京 全职 互联网 / 电子 / 网游 职位描述 - 参与公司数据湖架构搭建和开发;- 参与ETL设计,数据工程建设和数据可视化开发; 职位要求 基本要求:- 全日制本科学历,计算机相关专业,5年-10年大数据开发工作经验;- 熟悉公有云架构,对阿里云/AWS数据湖生态有丰富的项目经验;- 熟练使用MR/Spark/Flink等大数据计算框架,掌握Java/Scala/Python等开发语言- 掌握数据湖体系架构、数据建模方法、数据治理等知识,较强的业务理解和抽象能力;- 熟系Airflow调度工具,使用Zeppelin、Jupyter Notebook进行数据开发; - 熟系AWS LakeFormation、Glue、EMR大数据组件,使用Java,Spark,Python进行数据分析;加分项:- 数据湖方向做过前瞻性技术规划的建设经验者,优先;- 通过技术驱动产品变革,并带来好的结果经验者,优先; 投递...
大数据开发工程师 北京 社招 全职 职位 ID:A79146 职位描述 1、负责企业级数据仓库设计、建模、规范以及研发工作;2、深入理解业务需求,规划数据仓库建设的整体方向和技术路线,构建快速、准确、灵活、实用的数据仓库,挖掘发挥数据的价值;3、保证数据仓库的及时、准确、稳定产出,构建好用的数据仓库;4、打造行业一流的数据仓库团队;5、与小伙伴一起调研和实践热门数据仓库组件和技术(数据湖、TiDB、FlinkSql、实时数仓等);6、探索 AI 与数仓的深度融合,推动 AI Agent、大模型在数据开发、数据治理、智能分析等场景的落地应用;7、建设数仓智能体(Data Agent),实现自然语言驱动的数据查询、指标解读、异常归因等能力,降低数据使用门槛;8、负责数据仓库的 AI 赋能体系搭建,包括但不限于:智能 ETL 开发辅助、数据质量智能巡检、元数据智能管理、智能运维等;9、跟踪业界 AI+Data 前沿技术(Text2SQL、RAG、LLM4Data 等),结合业务场景进行技术选型与落地,推动团队 AI 能力建设。 职位要求 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础;2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark的实际项目使用经验,使用过Flink/Doris/Holo等更佳;3、大数据开发工作至少5-10年,有Hive数据仓库开发经验,有实时数据仓库开发经验者更佳;4、具有优秀的业务理解能力、自我推动力,有较强的逻辑分析能力,对数据敏感,对大数据处理和分析技术充满激情;5、熟悉数据仓库建设生命周期和流程规范,并掌握主题建模、维度建模理论者优先;6、了解大模型原理与应用,有 LLM/RAG/Agent 等 AI 技术在数据领域落地的实践经验者优先;7、熟悉 Text2SQL、智能数据治理、AI 辅助 ETL 开发等方向,具备将 AI 能力融入数据开发流程的意识和能力;8、持续关注 AI+Data 前沿技术动态,有较强的学习能力和技术热情,愿意探索大模型与数仓的深度结合。 投递...