数仓研发工程师 北京 全职 金融 职位描述 1、理解公司业务和数据,建设数据仓库,业务数据模型持续优化2、负责数据的采集清洗加工处理的脚本开发,为数据挖掘提供有效的数据资产。3、负责响应离线数据需求对数据资产进行数据统计、分析、提取处理4、参与业务分析、抓取等数据相关工作。满足业务方的数据需求,提供面向业务的OLAP、报表、数据提取等数据服务5、参与数据产品和标签体系建设:根据业务发展的不同阶段,围绕用户、商户、客户等,参与建设、优化业务数据指标和标签体系 职位要求 1、计算机相关专业优先,有3年以上大数据处理相关工作经验2、熟悉数仓常见分层架构,熟悉大数据集群的HIVE、HDFS、HBASE等常见组件的使用及性能调优3、强大的SQL能力,能编写常用的SHELL脚本、python脚本,熟练使用常见的azkaban等数仓ETL工具4、熟悉常见离线数仓处理流程、有实时数据处理者优先。5、有pySpark开发经验的优先 投递...
高级大数据研发工程师 北京 社招 全职 职位 ID:A94598 职位描述 1、负责小爱内容资源数据流及数据服务建设;2、负责小爱内容数据、搜索推荐服务架构优化;3、负责小爱用户画像、LLM通用知识库建设。 职位要求 1、熟悉大数据相关技术:Spark/Flink/Hadoop/HBase/Hive/Iceberg等;2、熟练使用Java、Scala、Python语言中的一种或者多种,熟悉java常见数据结构、多线程并发、JVM等;3、熟悉常用基础组件:Mq/Redis/Es等;具备数据库系统理论知识,熟悉Mysql/Tidb等,精通SQL;4、有过分布式、高并发业务系统搭建经验优先;5、熟悉大模型(LLM)技术,对向量数据库、RAG等有过深入调研优先;6、责任心强,具有较强的学习、沟通和问题解决能力。 投递...
高级大数据开发工程师 北京 社招 全职 职位 ID:A140743 职位描述 1、负责国际BI、零售通、米网相关数据相关数据应用、数仓底层开发和维护;2、理解和拆解数据产品需求,完成数据分析、数据建模以及编码工作;3、跨团队与服务端、前端、测试等完成需求沟通和协作,完成项目; 职位要求 1、有数据仓库研发经验,熟悉数据仓库、数据体系建设及优化,理解数据的价值;2、熟悉理解常用建模理论,可独立把控数仓的各层设计;3、掌握数据管理治理的相关理论,熟悉数据治理、数据标准、企业数据建模、元数据管理等方法论;4、熟悉大数据架构,具备实时或离线数据研发能力,熟悉hive,kafka,spark,flink、hbase等相关技术并有相关开发经验5、本科及以上学历,8年以上工作经验,有AI工作优先 投递...
大数据开发工程师 北京 社招 全职 职位 ID:A103073A 职位描述 1、负责小米集团核心业务的数仓开发和维护,确保数据准确、及时、好用2、深入理解产品需求,独立高效完成数据建模以及数仓开发工作3、跨团队与服务端、前端、测试等团队紧密协作,确保数据解决方案的顺利实施 职位要求 1、具备丰富的数据仓库研发经验,熟悉数据仓库、数据体系建设及优化,深刻理解数据的商业价值2、深入理解并掌握常用的数据建模理论,能够独立主导数仓各层级的设计与实施3、掌握数据管理的相关理论,熟悉数据治理、数据标准、企业数据建模、元数据管理等方法论4、精通大数据架构,具备实时和离线数据研发能力,精通Hive、Spark、Flink、Hbase、Kafka等大数据技术,能够高效解决大数据处理中的技术难题【具备以下能力者优先】1、具备汽车行业数据仓库建设经验者优先2、具备超大数据量处理能力者优先3、具备实时数仓建设经验者优先 投递...
后端开发实习生-python 北京 实习 互联网 / 电子 / 网游 日常实习生 职位描述 协助自动驾驶数据产线平台的搭建与开发协助数据产线平台的故障与问题排查协助前后端联调 职位要求 硕士及以上学历,实习6个月及以上 每周5天计算机、软件相关专业能快速理解业务需求,有产品原型设计能力熟悉Java、Python、Rust,以及相关开发框架有spark\trino\flink\hbase\es等数据引擎使用经验,源码阅读经验尤佳熟悉一种或多种数据存储与查询引擎(含数据库) 投递...