数仓研发工程师 北京 全职 金融 职位描述 1、理解公司业务和数据,建设数据仓库,业务数据模型持续优化2、负责数据的采集清洗加工处理的脚本开发,为数据挖掘提供有效的数据资产。3、负责响应离线数据需求对数据资产进行数据统计、分析、提取处理4、参与业务分析、抓取等数据相关工作。满足业务方的数据需求,提供面向业务的OLAP、报表、数据提取等数据服务5、参与数据产品和标签体系建设:根据业务发展的不同阶段,围绕用户、商户、客户等,参与建设、优化业务数据指标和标签体系 职位要求 1、计算机相关专业优先,有3年以上大数据处理相关工作经验2、熟悉数仓常见分层架构,熟悉大数据集群的HIVE、HDFS、HBASE等常见组件的使用及性能调优3、强大的SQL能力,能编写常用的SHELL脚本、python脚本,熟练使用常见的azkaban等数仓ETL工具4、熟悉常见离线数仓处理流程、有实时数据处理者优先。5、有pySpark开发经验的优先 投递...
SummaryWould you like to drive the future of Apple’s products, applications, and platform while having the unique opportunity to impact some of the most far-reaching software applications in the world? iCloud Data organization enables Apple to
【集团】大数据平台开发专家 上海 全职 职位描述 1.参与建设大数据基础设施:数据平台层面构建包括数据集成、ETL、质量与治理等中台能力,提升数据研发的工作效率;数据架构层面规划设计业务领域核心模型,探索落地另类数据的架构,包括不限于数仓一体、云数据库等;2. 参与建设升级公司数据体系,支撑公司整体数据体系需求,构建高效,稳定的数据通道,推动数据智能化和自动化体系的建设; 职位要求 1.熟悉大数据生态数据技术,了解Flink、Spark、HDFS、 Hive、Odps等主流大数据计算/存储引擎,了解 hbase、 lindorm等OLAP、OLTP引擎及相关数据应用场景,解决方案;2. 有大数据研发、治理等相关平台建设经验者优先,对数据仓库,数据湖熟悉者优先,有数据思维、数学思维者优先;3.知识与能力: 1)扎实的Java编程基础,熟悉JVM、类加载机制、多线程以及性能优化等; 2)精通SpringCloud微服务技术体系springboot、eureka、nacos、apollo、rabbitmq、kafka、rocketmq等等,熟悉相关技术原理,对框架源码有一定研究。4.管理经验:至少3年以上,5-10人团队管理经验。 投递...
大数据开发工程师实习生 南京 实习 互联网 / 电子 / 网游 职位描述 1. 参与大数据平台的开发与维护,协助构建高可靠、高性能的数据处理系统;2. 协助开发和优化分布式计算任务(如Hadoop/Spark/Flink作业),提升数据处理效率;3. 参与ETL流程设计与实现,支持数据清洗、转换和加载;4. 协助数据仓库与数据建模工作,维护数据表结构和元数据管理;5. 学习并跟踪大数据领域新技术(如实时计算、湖仓一体等)。 职位要求 1. 学历专业:计算机、软件工程等计算机相关专业本科及以上在校生;2. 技术要求: - 了解至少一种大数据框架(Hadoop/Spark/Flink/Hive/Apache Hudi等); - 熟悉SQL,有NoSQL数据库(如HBase/MongoDB)使用经验者优先; - 掌握Java/Scala中的至少一门编程语言; - 掌握Superset等数据分析工具,了解方法; - 对Linux基础命令和Shell脚本有一定了解;3. 加分项: - 接触过数据仓库(如Hive/Apache Hudi)、消息队列(Kafka)或实时计算技术; - 参与过数据处理或分析相关项目(如竞赛、科研、开源项目);4. 个人素质:逻辑清晰,学习能力强,具备团队协作精神,对大数据技术有热情。实习收获:-
【集团】大数据运维 上海 全职 职位描述 1.参与自研类DataWorks平台的架构设计和研发落地,确保平台的高可用和扩展性等。2.负责核心功能模块的开发和维护,包括统一数据集成(实时、离线)、数据研发(实时、离线)、统一作业调度(调度引擎、调度编排)、数据分析(adhoc、batch、混合引擎)、数据地图(元数据采集、全链路血缘)、数据治理(数据质量评测体系,质量指标、监控告警)等。 职位要求 1.本科及以上学历,计算机科学、软件工程或相关专业。2.互联网5年以上大数据平台开发经验(熟悉DataWorks平台或类似数据平台,了解数据开发用户视角,如IDE体验、调试效率)。3.熟练掌握Java、Python、SQL等编程语言。4.熟练掌握SpringCloud分布式微服务技术栈,包括:SpringBoot、Redis、MQ/Kafka、MySQL/PostgreSQL等。 5.熟练掌握Hadoop大数据技术栈特性和应用,包括:HDFS/MR/Yarn、Hive、HBase、Spark、Flink、Presto/ClickHouse/Doris等。6.熟悉Ad-Hoc(即席)、Batch(批)、Stream(流)、数据湖等大数据开发框架,了解技术原理和应用场景,具备开发实践经验。 7.熟悉DolphinScheduler/Airflow等大数据调度框架,了解技术原理和应用场景,具备开发实践经验。 加分项: -有dify \豆包等大模型应用、结合垂直领域赋能业务。-有Jupyter、Python数据分析工具集成(如Pandas、NumPy、Scikit-learn)/机器学习/数据治理体系/数据分析知识、实际项目经验者优先。 投递...
数据开发实习生 上海 实习 数字技术 职位 ID:A182778 职位描述 1.负责蔚来能源云相关的大数据建设,包括但不限于 充电换电、选址、电池等。2.参与公司级数据仓库建设与维护,包括离线和实时数仓,支持各种复杂的业务分析需求,确保数据的一致性、完整性和高可用性。3.数据管道设计与开发:负责互联网平台的数据采集、清洗、处理和存储,设计并搭建高效稳定的数据管道。4.针对海量互联网数据,优化数据任务和数据处理流程,提升大数据系统的性能与稳定性,确保高效处理和低延时响应。5.根据项目安排,与产品、数据分析团队等密切合作,理解业务需求,独立完成所负责业务场景和模块的系统分析与设计,落地相关数据开发任务,提供数据服务支持。 职位要求 1.学历要求: 本科及以上学历,计算机科学、数据科学、软件工程或相关专业背景。2.熟练掌握至少一种编程语言(Java/Scala/Python等),具备大数据处理相关的编程经验。3.熟悉Hadoop生态体系,掌握Spark、Flink、Hive等大数据处理框架基本原理(至少一个),有离线和实时数据开发经验4.熟练使用SQL,熟悉关系型数据库(如MySQL、PostgreSQL),具备NoSQL数据库(如HBase等)使用经验优先。5.掌握数据仓库建设的基本知识,熟悉ETL流程,能够在指导下独立完成数据集成、转换和加载工作。有实际数仓搭建经验者优先。6.具备良好的沟通能力和团队协作精神,对数据开发有兴趣和热情,有志于长期在大数据领域发展 投递...
WHO WE ARE: As Singapore’s longest established bank, we have been dedicated to enabling individuals and businesses to achieve their aspirations since 1932. How? By taking the time to truly understand people. From there, we provide
数据开发工程师 武汉、上海 社招 全职 数字技术 - 软件研发 本科及以上 3-5 年 职位描述 - 负责公司级核心数据资产的规划和建设,支撑核心业务场景设计和开发落地 - 负责支撑AI的数据基座设计与开发,支持基于向量数据库,知识图谱的语义知识搭建和优化 - 参与数据产品与应用的数据研发,发掘数据商业价值,和产品技术团队一起打造极致体验的数据产品 - 为海量数据处理和分析提供高效解决方案,落地实时和离线需求,为基础开发者提供可靠技术支持 - 结合业务方向,深度挖掘数据需求,形成技术方案和标准,探索行业前沿技术 职位要求 - 大模型与Agent相关的行业落地经验,如大模型应用开发,Agent系统,RAG等 - 掌握维度建模设计方法,具备海量数据加工处理(ETL)经验,具备良好的SQL性能调优能力 - 熟悉数仓领域知识和技能,包括但不局限于:数据集市设计,元数据管理,数据质量 - 精通Spark,FLink 数据开发框架,有丰富实时数据的实际开发和性能调优经验 - 熟悉Hadoop,HBase,Kafka,ElasticSearch,Presto,Redis等大数据技术体系 - 熟悉Clickhouse,Starrocks,Hologres等OLAP引擎技术细节者优先 - 熟悉Iceberg,Hudi,Paimon
搜索与推荐算法工程师 北京、南京 校招 正式 算法类 2027届校园招聘计划 职位描述 1.负责业务的搜索推荐系统的算法设计与优化;2.对搜索推荐算法有着较为全面的认知,了解各类搜推领域相关算法,能够自主负责整套推荐系统架构的设计与算法开发工作;3.跟踪和研究搜推算法的前沿技术,如大模型搜推等,并将其应用于实际业务中,推动搜索推荐系统的创新和升级;4.对AI搜索有经验和认知的同学,将优先录取。 职位要求 1.硕士及以上学历,计算机科学、信息工程、机器学习、人工智能等专业,有C++/python开发经验;2.熟悉常用的大数据处理平台工具,包括Spark/Flink/Hbase/Kafka等,并有过处理分析数据经验,熟练掌握至少一种深度学习框架,如Tensorflow,PyTorch等;3.有过搜索/推荐/计算广告/数据挖掘方面经验优先,掌握常规的深度学习与推荐算法知识。 投递...
分布式存储开发工程师 武汉、北京 校招 正式 软件研发类 2027届校园招聘计划 职位描述 1、负责分布式KV存储、数据库系统的设计和开发,保障系统在高并发场景下的高效、稳定;2、支持业务存储需求,帮助用户改善存储产品使用体验。 职位要求 1、熟练掌握常用的数据结构和算法,编程能力过硬;2、熟悉Linux操作系统原理,掌握常见网络、多线程模型及性能优化方法;3、具有Linux平台下C/C++/Golang编程经验;4、熟悉主流存储、数据库系统原理:Memcache、Redis、LevelDB/RocksDB、TiKV、HBase、MySQL、PostgreSQL等一种或多种存储系统原理;5、有技术钻研热情,问题定位能力、学习能力强,良好的沟通能力和团队合作能力;6、统招本科及以上学历,27年应届毕业生。具有以下条件者优先:1、有大规模分布式存储系统研发经验;2、开源社区的活跃贡献者。 投递...
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
Some careers have more impact than others. If you’re looking for a career where you can make a real impression, join HSBC and discover how valued you’ll be. We are currently seeking an experienced professional to
校招-智能辅助驾驶仿真云平台研发工程师 上海、北京 校招 正式 数字技术 - 软件研发 硕士及以上 2027届校园招聘-正式批 职位 ID:A32979A 职位描述 参与智能辅助驾驶仿真云平台架构设计和开发工作,让智能辅助驾驶云平台赋能智能辅助驾驶仿真验证与训练业务基于云计算搭建高可用、高并发、高性能仿真分布式计算中台,为智能辅助驾驶研发及测试团队提供高效服务参与仿真任务、资源管理与调度的设计与开发,提升云端计算资源利用率 职位要求 任职要求:-计算机或相关专业,扎实的计算机理论基础,本科及其以上学历-熟练掌握JAVA、GO、Python、Shell、C++等其他一种或多种编程语言-熟悉后端开发技术栈:springmvc、mybatis、负载均衡(ngix、lvs)、消息队列、缓存(redis)、常用数据库(MySQL、MongoDB),并具有实战项目开发经验-熟悉Docker、Kubernetes等容器化技术,并有实战项目经验优先考虑-熟悉GPU虚拟化技术,并有实战项目经验优先考虑-有分布式系统、分布式计算开发和使用经验,或大数据处理经验,如HBase、HDFS、Spark、Ray等,优先考虑-熟悉Linux系统原理,对虚拟化技术有深入理解优先考虑-具有较强的学习能力和意愿、理解能力、沟通和协作能力,有良好的自省能力和自驱能力-有智能辅助驾驶技术相关经验、Docker、Kubernetes、GPU虚拟化等开源项目经验、优秀的编程习惯、技术书籍或博客作品(加分项) 投递...
【技术保障】大数据SRE工程师 上海、杭州 全职 互联网 / 电子 / 网游 - 研发 技术类 职位描述 1.负责大数据平台、算法平台相关业务链路运维工作;2.负责处理大数据生态稳定性等问题,保障集群高效、稳定、经济运行;3.与开源社区保持交流,发现对业务场景有帮助的特性并引入生产环境,或将经内部验证的特性贡献到社区。 职位要求 1.对技术有追求,能够刨根问底的搞定技术问题;2.熟悉hdfs/yarn/hbase大数据系统原理及部分组件源码;3.熟悉K8S相关运维;4.具备规模化大数据集群的故障诊断与性能优化能力;5.具备大规模跨集群、跨机房迁移经验者优先;6.有高度的责任心,良好的学习和自我驱动能力。 投递...
Dump体系技术专家(上海/杭州) 上海、杭州 全职 互联网 / 电子 / 网游 - 研发 技术类 职位描述 1.负责公司社区业务的数据开发,为大规模搜索和推荐业务,设计并实现合理、高性能、可扩展的索引、特征、样本等数据链路和数据架构2.负责搜索Dump平台的系统开发,为搜索和推荐引擎提供稳定、高效、高性能的数据Dump加工服务; 职位要求 1.至少3-5年数仓相关工作经验,同时具备实时和离线数据架构经验, 熟悉搜索引擎增量Dump和全量Dump 构建体系优先.2.熟练掌握Spark、Flink、Kafka等大数据批流应用开发,熟悉原理与性能调优,具备复杂多元化数据问题的快速定位和解决能力;3.熟练掌握Java基础,熟悉IO、多线程、缓存、消息、数据库等分布式中间件,深刻理解计算机原理,有良好的数据结构和算法基础,扎实的编程能力;4.熟悉Hive、HDFS、HBase、ClickHouse等大数据生态常用组件的原理和应用.5.对数据敏感,具备良好的数据分析挖掘能力.6.有较强的稳定性意识和平台化意识, 在稳定运行Dump 任务的同时, 能抽象不同场景(搜索,推荐等等)所需要的Dump 支撑能力, 统一框架接入不同场景;7.有搜索、推荐、广告相关领域的相关开发经验或大数据平台开发经验加分。 投递...
数据湖引擎研发专家 上海、杭州 全职 互联网 / 电子 / 网游 - 研发 技术类 职位描述 1、深度参与数据湖存储内核的架构设计与研发,包括分布式日志、列式流存储、KV存储、存算分离架构等;2、在得物打造数据湖产品服务,支撑大规模商业化落地;3、构建“湖流一体”的数据标准和生态,推动 Flink、Spark、StarRocks、Trino 等开源引擎的深度集成。 职位要求 1、具备3年以上大数据计算引擎、数据库内核或分布式系统研发经验,具备复杂系统架构设计与技术攻坚能力;2、熟悉分布式存储、日志系统(如 Kafka、Pulsar)、KV系统(如HBase)、数据湖存储(如 Paimon、Iceberg)等技术原理,有内核开发经验者优先;3、扎实的计算机系统基础与编程能力,精通 Java 或 C++/Rust 系统开发经验者优先;4、具备强烈的技术热情、ownership 和工程落地能力;具备良好的团队协作与跨团队沟通能力,能够在多方协作环境中高效推进技术方案落地;5、有开源项目贡献经验者优先。 投递...
【技术保障】算法SRE工程师/专家(偏开发方向) 上海、北京 全职 互联网 / 电子 / 网游 技术类 职位描述 1.主导搜索/推荐核心链路的端到端稳定性建设,基于 SLO/SLI 与错误预算管理变更节奏,确保高可用与快速交付;2.设计并演进全链路监控、告警、自愈、降级体系,构建自动化响应与回溯机制,加速问题定位与恢复;3.深度优化计算、存储、调度、编译链路性能,引入并落地 JIT/AOT 等前沿技术,支撑高吞吐、低延迟算法场景;4.运营与优化 Zookeeper、Nginx、消息队列等核心组件,保障超大规模分布式环境的稳定性与性能;5.推进非标服务标准化、容器化与云原生化,利用 Kubernetes 构建规模化、自动化、可灰度的交付与运维体系。 职位要求 1.计算机相关本科及以上,5+ 年 Dev/Ops 经验;具备重大生产事故应急处置记录者优先;2.精通 Java/C++/Go 任一语言,能进行系统复杂度与架构设计权衡;熟悉 JVM 底层与编译优化,具备算法、缓存、并发设计经验优先;3.深入掌握 Kafka/MQ 等消息中间件与 ETL 数据处理;精通 MySQL/PostgreSQL、Redis、HBase 等数据库及一致性原理;4.熟悉 Zookeeper 集群部署与调优,熟悉 Nginx 高性能配置与流量治理,具备分布式协调与大规模流量管理经验;5.熟悉
大数据实时计算开发-上海/杭州 上海、杭州 全职 研发 - 算法 技术类 职位描述 1.负责公司电商业务的实时数据开发,为大规模搜索和推荐业务,设计并实现合理、高性能、可扩展的实时数据系统;2.深入搜索和推荐系统链路,通过实时、丰富、可靠的数据服务,负责算法正倒排数据的研发,提升系统性能和推荐效果;3.负责实时计算系统的开发,通过对数据流处理节点的DAG编排,提供一站式的实时业务计算平台;4.负责搜索Dump平台的系统开发,为搜索和推荐引擎提供实时、可靠的数据Dump加工服务; 职位要求 1.至少3-5年实时数仓相关工作经验;2.熟练掌握Spark、Flink、Kafka等大数据批流应用开发,熟悉原理与性能调优;3.熟练掌握Java基础,熟悉IO、多线程、缓存、消息、数据库等分布式中间件,深刻理解计算机原理,有良好的数据结构和算法基础,扎实的编程能力;4.熟悉Hive、HDFS、HBase、ClicHouse等大数据系统的原理和应用;5.具有快速定位问题的能力和较强的学习能力;6.业务理解能力强,善于思考和沟通,有责任心和团队精神;7.有搜索、推荐、广告相关领域的相关开发经验或大数据平台开发经验加分。 投递...
机器学习特征/样本数据工程研发 北京、上海 全职 互联网 / 电子 / 网游 技术类 职位描述 1. 负责设计与开发一站式机器学习数据平台,从0到1构建数据资产管理平台,提供特征/样本数据的元数据管理、生产、回溯、一键式上线部署、自动化分析等平台化解决方案。2. 负责得物搜索/推荐/广告类业务中多模态特征/样本数据生产链路的搭建,包括特征和样本的生产、缓存体系和上线链路的构建。3. 负责得物搜推广场景的应用设计和开发,海量特征数据和元数据的存储和查询工作,优化系统的稳定性、性能、可扩展性。4. 负责特征和样本数据治理工作,深入理解特征和样本的数据业务,包括不限于成本、质量、效率,提升数据易用性、安全性及稳定性,提炼数据治理方法论,推动数据治理方法实施。5. 协同训练与推理团队,实现特征/样本数据的全生命周期管理。 职位要求 1. 本科及以上学历,计算机及相关专业背景,2年以上 Java 或 C++ 后端开发经验。2. 具备大型互联网平台研发背景,熟悉平台化开发模式 ,拥有平台设计与开发经验。3. 熟悉常用组件:MySQL、Redis、HBase等常见数据库,Kafka等常见消息队列。4. 拥有扎实工程能力,C++/Java具备线上服务化、性能优化、问题定位能力;或者熟悉大数据链路,熟悉SQL,能处理大规模数据计算。5. 具备出色的业务沟通能力、问题分析与解决能力 ,责任心强,具备良好的抗压能力 。 投递...