Refine Reset All
Sort by
Job Title
Job Type
Employer/Recruiter
Date Posted
Job Title
Location
Job Type
Employer/Recruiter
All Filters

Java Spark Jobs In Beijing (Peking) - 16 Job Positions Available

1 – 16 of 16 jobs
易宝支付 YeePay jobs

风控Java研发工程师 北京 全职 金融 职位描述 期待拥有开放心态、拥抱持续进化的你成为易宝的事业伙伴,共绘 “一群人的浪漫”。1、负责支付风控中台核心子系统的设计与开发,包括但不限于规则引擎、实时决策引擎、变量平台、名单管理系统、人工审核工作流等,支撑每秒万级的高并发实时风控请求。2、与风控策略团队紧密配合,将复杂的反欺诈、反洗钱、反盗刷业务逻辑转化为高效、可维护的技术实现,支持策略的快速上线与A/B测试。3、基于Flink/Spark等大数据技术建设实时特征计算平台,为风控模型与策略提供准实时的指标支持;参与数据清洗、标签体系建设。4、攻克支付场景下的业务技术难题,如防重放、幂等性设计、分布式事务,以及对突发流量(如大促场景) 的弹性伸缩与限流降级。 职位要求 1、本科及以上学历,计算机相关专业,3-5年Java开发经验,其中至少1年以上风控、金融、支付或安全领域研发经验;2、扎实的JAVA基础,熟悉JAVA核心原理,熟练掌握多线程开发,有JVM调优经验优先;3、熟悉分布式系统设计与开发,熟悉Spring等主流框架,熟悉Redis、ES、Sqoop、Kafka、Hive其中的一种或几种中间件4、理解支付/信贷业务中常见的风险类型(盗刷、套现、薅羊毛、商户二清等),了解基本的反欺诈规则(如设备指纹、IP画像、行为序列)。5、有对接三方风控产品经验(如Sift Science、Forter、同盾、邦盛)或自建规则引擎(Drools/EasyRule/Aviator)深度优化经验。 投递...

Premium Full-time
易宝支付 YeePay  15 days ago
百观科技 BigOne Lab jobs

高级大数据开发工程师北京全职互联网 / 电子 / 网游职位描述- 参与公司数据湖架构搭建和开发;- 参与ETL设计,数据工程建设和数据可视化开发;职位要求基本要求:- 全日制本科学历,计算机相关专业,5年-10年大数据开发工作经验;- 熟悉公有云架构,对阿里云/AWS数据湖生态有丰富的项目经验;- 熟练使用MR/Spark/Flink等大数据计算框架,掌握Java/Scala/Python等开发语言- 掌握数据湖体系架构、数据建模方法、数据治理等知识,较强的业务理解和抽象能力;- 熟系Airflow调度工具,使用Zeppelin、Jupyter Notebook进行数据开发; - 熟系AWS LakeFormation、Glue、EMR大数据组件,使用JavaSpark,Python进行数据分析;加分项:- 数据湖方向做过前瞻性技术规划的建设经验者,优先;- 通过技术驱动产品变革,并带来好的结果经验者,优先;投递...

Premium Full-time
百观科技 BigOne Lab  26 days ago
百观科技 BigOne Lab jobs

大数据开发工程师北京全职研发 - 大数据职位描述职位介绍:- 参与公司离线数仓的架构和搭建工作;- 参与DataPipeline,DataFlow、流程自动化、数据可视化的开发工作;- 参与架构优化、性能改进、功能完善、故障分析等工作;基本要求:- 全日制本科及以上学历,计算机相关专业;- 3年及以上大数据开发工作经验;- 熟悉Hadoop生态,对Spark、Hive、Presto等组件有丰富的使用和开发经验;- 有Airflow等调度工具的设计、开发经验; - 熟悉数仓模型的设计,分层设计和管理;- 可以熟练使用Java或Pyhton进行开发工作;加分项:- 使用过AWS大数据组件;- 参与过数据湖、湖仓一体的建设;- 有元数据管理、数据治理、数据目录、数据资产管理等相关经验;职位要求-投递...

Premium Full-time
百观科技 BigOne Lab  26 days ago
酷睿程 (CARIZON) jobs

湖仓开发工程师北京社招全职互联网 / 电子 / 网游职位描述-负责企业级数据湖仓平台的设计、开发与维护;-负责湖仓内数据建模、数据加工、数据采集、分层设计等工作,保证数据质量与一致性;-负责编写高性能ETL任务,维护Flink、Spark等计算任务的稳定运行;-负责元数据管理、数据质量监控、数据血缘分析、权限系统的设计与开发;-和业务方进行需求对接,完成业务数据到湖仓到使用的全链路工作;职位要求-计算机、大数据等相关专业,本科及以上学历;-精通Java、Python、Go等语言中一种或多种,具备良好的编码习惯;-熟练掌握Spark、Flink、Kafka、Hive、Doris等大数据组件,深入理解端到端一致性及具体实现,具备实时湖仓开发经验;-熟悉数据湖技术(如Iceberg)、湖仓分层、湖仓一体架构,深入理解ACID、Schema Evolution、Time Travel等核心特性及使用场景;-具备良好的沟通协作能力,主动性强,能独立定位和解决问题;-熟悉Iceberg、Flink、Doris等相关大数据组件源码者优先;-有自动驾驶领域的湖仓数据平台开发经验者优先。投递...

Premium Full-time
酷睿程 (CARIZON)  26 days ago
TideSwing 可话 jobs

后端工程师北京全职研发 - 后端开发职位描述1、负责「可话」App 的服务端 API 设计和开发工作2、负责 App 后端平台的规划、部署、监控、系统优化3、参与深度学习工程化和 AI 系统开发的相关工作4、参与云服务的架构搭建和演进职位要求1、计算机或相关专业,2 年工作经验以上2、擅长至少 2 门编程语言,包括 Kotlin/Java/Python/Golang 中的一种,熟悉 Restful、微服务等 Web 服务设计理念3、了解容器技术的原理,熟悉 Docker 的相关操作4、有云原生开发、DevOps 实践经验的优先5、有业务敏感性,有大数据开源系统(Hadoop,Spark,Kafka,Presto 等)使用经验的优先6、有开源图数据库(neo4j、orientdb)使用经验的优先7、有开源深度学习框架(TensorFlow、Pytorch)项目经验优先投递...

TideSwing 可话  19 days ago
TideSwing 可话 jobs

SRE高级工程师北京全职研发 - 后端开发职位描述1、致力于打造高扩展、高可用的分布式系统2、保障云原生下各个服务之间的稳定运行,保障设计到上线的整个生命周期内保障系统可靠性3、提供大型系统的自动化运维方案4、建立良好的观测性、性能指标帮助团队快速定位故障5、提升服务的可靠性、可扩展性以及成本、性能优化,保障系统 SLA6、基于业务使用场景,深入优化提供最佳服务治理实践,包含不局限于关键链路性能瓶颈分析、业务问题定位排障、推进系统高可用架构改造升级等职位要求1、本科以上学历, 计算机相关专业, 并有三年以上相关领域工作经验2、扎实的计算机软件基础知识; 了解 Linux 操作系统、存储、网络 IO 等相关原理3、熟悉一种或多种编程语言,例如 Go/Python/Java/Shell等4、具有相关计算/分布式/大数据等系统经验优先(Nginx/Kubernetes/Docker/OpenStack/Hadoop/Spark/Flink/虚拟化/分布式存储等)投递...

Premium Full-time Linux IO
TideSwing 可话  19 days ago
米可世界 MICO WORLD jobs

数据仓库工程师 北京 全职 互联网 / 电子 / 网游 职位描述 我们正在寻找一位基础扎实、对数据敏感的数据仓库开发工程师。您将负责设计、构建、优化和维护公司核心业务决策所依赖的数据仓库、数据集市及相关数据资产,确保数据的高质量、一致性和可访问性,为业务决策提供坚实的数据基础。1 负责业务数据仓库的设计和优化,包括数据模型设计、ETL/ELT流程开发,性能优化,数据质量保障,支持业务快速迭代。2 管理数据仓库中的元数据信息,包括数据来源、数据定义和数据关系,提升数据可发现性和可理解性。3 与数据分析师、产品经理及业务部门紧密协作,理解业务需求并转化为高效的数据解决方案。 职位要求 1 3年以上大数据/数仓开发经验,能够编写复杂SQL,精通数仓建模方法论,以及在社交,游戏,电商等领域有实际的项目交付经验2 熟练掌握常用的大数据组件,了解其使用场景和优势。包括但不限于:Hive/Presto/StarRocks/Spark/Flink 等3 至少掌握一种编程语言,包括但不限于:Python/Java/Scala等,具备良好的工程化思维。4 具备良好的数据质量管理意识,能够设计并实施数据质量监控体系5 优秀的沟通能力和团队协作精神,能够与非技术团队有效沟通数据需求。具备以下项目经验优先考虑1 有大规模数据仓库设计与优化经验,处理过PB级数据,了解数据湖,有iceberg 项目经验2 具备数据治理、元数据管理相关项目经验 投递...

Premium Full-time
米可世界 MICO WORLD  16 days ago
米可世界 MICO WORLD jobs

数据平台开发工程师 北京 全职 互联网 / 电子 / 网游 职位描述 我们正在寻找平台开发工程师加入团队,协作实现现代化Lakehouse平台的落地,推进云原生数据架构的实践与应用。我们致力于打造高性能、弹性的云原生数据平台,全面支持AI及多元业务场景,通过数据洞察驱动业务决策与技术优化。希望你具备自驱力、解决问题能力和工程落地经验,拥有云计算(Cloud)或大数据(Big Data)领域背景者更佳。1.参与Lakehouse平台的核心模块开发与技术方案实施2.实现云原生环境下的资源调度与作业编排系统落地及调优3.构建高效、可扩展的Lakehouse存储系统,实施统一元数据管理与数据治理功能 职位要求 1.熟练掌握Java/Golang/Rust(至少一门),有企业级系统开发经验2.熟悉Kubernetes基础组件,具备CNI/CSI/Operator运维或调试经验者优先3.了解主流大数据技术(如Spark/Flink/StarRocks/Presto)4.扎实的工程实现能力,良好的团队协作意识以下优先:1.有向量化执行引擎应用经验,或Spark任务卸载(Offload)到Native引擎的实践案例2.参与过数据库(Database)/云计算(Cloud)领域开源项目 投递...

Premium Full-time
米可世界 MICO WORLD  16 days ago
Veeva Systems jobs

Veeva Systems is a mission-driven organization and pioneer in industry cloud, helping life sciences companies bring therapies to patients faster. As one of the fastest-growing SaaS companies in history, we surpassed $3B in revenue in our

Veeva Systems  12 days ago
小米科技 Xiaomi Technology jobs

AIoT研发实习生 北京 校招 实习 软件研发类 职位描述 1. 编写程序处理IoT设备实时数据,对采集到的 IoT 数据进行清洗,去除噪声、无效值和重复信息。2. 在指导下用 Flink 编写实时流处理作业,对 IoT 实时数据流进行转换、聚合和分析。3. 使用 Java 与 Hadoop 生态(HDFS、Hive)交互,将处理后的 IoT 数据存储到合适的存储系统中。设计合理的数据存储架构,以支持高效的数据查询和分析。4. 运用 SQL 对 IoT 数据进行复杂的查询和分析,挖掘数据背后的业务价值。同时,结合数据仓库技术,构建 IoT 数据集市,为企业的决策提供有力的数据支持。5. 主动思考如何将 AI 算法(如机器学习、深度学习)应用于 IoT 数据处理和分析中,以提升系统的智能化水平。6. 参与设计和开发基于 AI 的

小米科技 Xiaomi Technology  10 days ago
小米科技 Xiaomi Technology jobs

自动驾驶数据挖掘工程师实习生 北京 校招 实习 软件研发类 职位描述 1.负责自动驾驶相关数据挖掘的开发;2.负责自动驾驶相关数据的分析3.负责自动驾驶数据挖掘相关工具链和产品开发 职位要求 1.硕士及以上学历;2.良好的逻辑思维能力,熟悉大规模数据处理挖掘、数据流程搭建等;3.精通Python、Java、C、C++中至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力;4.具备良好的学习能力和沟通交流能力,能够迅速熟悉业务、融入团队。5.实习时长至少6个月,每周至少4天加分项:1.有过自动驾驶相关领域的研究和实习经历;2.熟悉Spark、Iceberg等数据湖仓大数据开源技术;3.对AI大模型领域有相关研究或实践; 投递...

Premium Full-time
小米科技 Xiaomi Technology  10 days ago
Xiaomi jobs

高级大数据研发工程师 北京 社招 全职 职位 ID:A94598 职位描述 1、负责小爱内容资源数据流及数据服务建设;2、负责小爱内容数据、搜索推荐服务架构优化;3、负责小爱用户画像、LLM通用知识库建设。 职位要求 1、熟悉大数据相关技术:Spark/Flink/Hadoop/HBase/Hive/Iceberg等;2、熟练使用Java、Scala、Python语言中的一种或者多种,熟悉java常见数据结构、多线程并发、JVM等;3、熟悉常用基础组件:Mq/Redis/Es等;具备数据库系统理论知识,熟悉Mysql/Tidb等,精通SQL;4、有过分布式、高并发业务系统搭建经验优先;5、熟悉大模型(LLM)技术,对向量数据库、RAG等有过深入调研优先;6、责任心强,具有较强的学习、沟通和问题解决能力。 投递...

Premium Full-time
Xiaomi  7 days ago
Xiaomi jobs

高级算法工程师 北京 社招 全职 职位 ID:A229937 职位描述 1. 负责排线、道口均衡、配载均衡等模型的开发与优化工作,通过先进的算法设计,解决多供应商、多工厂入厂运输过程中的复杂问题,提高运输效率,降低运输成本。2. 针对场内排产、排程、VDC路径规划等场景,开发高效的算法模型,确保工厂内部物流运作的顺畅和高效,满足生产计划和调度的要求。3. 负责库存优化算法的开发与实施,通过数据分析和建模,优化库存水平,降低库存成本,同时确保供应链的稳定性和响应能力。4. 与供应链管理、物流运营、生产计划等部门紧密合作,深入了解业务需求,确保算法模型能够有效支持业务目标的实现。5. 跟踪国内外供应链物流领域的最新算法研究成果和技术动态,结合公司业务需求,探索新的算法应用方向和技术创新点。 职位要求 1. 计算机、数学、统计学或人工智能等相关专业硕士学历以上;博士优先。有工厂域排产排程经验者优先。2. 熟练掌握运筹学、数学建模、优化算法等基础知识,具备扎实的数学功底和逻辑思维能力。3. 精通Python、Java等编程语言,熟悉常用数据结构和算法。4. 熟悉机器学习、深度学习、运筹优化、统计学等算法,了解大模型相关理论,有大模型部署、微调经验,熟悉Qwen、ChatGPT、InternVL等大模型。5. 熟悉大模型(如 LLM)的微调技术(如 LoRA)和部署流程,具备 Prompt 调优的经验,能够根据业务需求设计和优化 Prompt,提升模型的性能和输出质量。6. 熟悉数据挖掘和大数据处理工具(如Hadoop、Hive、Spark),熟练使用算法框架(如TensorFlow、PyTorch)和优化工具(如Gurobi、Ortools)。7. 具备在复杂业务场景下独立开展算法项目的能力,能够从问题定义、数据收集与分析、模型构建与优化到实际部署的全流程进行有效推进。 投递...

Premium Full-time
Xiaomi  7 days ago
Xiaomi jobs

数据服务开发高级工程师 北京 社招 全职 职位 ID:A58446 职位描述 1. 负责数据服务平台与产品的模块设计、编码实现2. 理解小米互联网/手机/汽车/IOT等相关部门需求,规划小米数据服务发展路线3. Data + AI 相关技术解决方案的探索、业界先进技术转化与应用 职位要求 1、计算机相关专业,6 年以上 Java 开发经验,熟悉 Java 底层原理;2、熟悉 Sping Boot 等微服务开发;有分布式计算、中间件、高性能服务端等开发经验优先;3、有数据资产/数据治理/数据分析/BI系统/数据服务等经验优先; 4、有大数据组件应用(Iceberg/Redis/Spark/Flink/Doris/Paimon等)及开发经验优先; 投递...

Premium Full-time Java AI
Xiaomi  7 days ago
Xiaomi jobs

大数据开发工程师 北京 社招 全职 职位 ID:A95445 职位描述 1、负责企业级数据仓库设计、建模、规范以及研发工作;2、深入理解业务需求,规划数据仓库建设的整体方向和技术路线,构建快速、准确、灵活、实用的数据仓库,挖掘发挥数据的价值;3、保证数据仓库的及时、准确、稳定产出,构建好用的数据仓库;4、打造行业一流的数据仓库团队;5、与小伙伴一起调研和实践热门数据仓库组件和技术(数据湖、TiDB、FlinkSql、实时数仓等)。 职位要求 1、精通Unix/Linux操作系统下Java或Scala开发,有良好的编码习惯,有扎实的计算机理论基础;2、熟练掌握大数据处理技术栈,有丰富的Hadoop/Spark的实际项目使用经验,使用过Flink/Doris/Holo等更佳;3、大数据开发工作至少5-10年,有Hive数据仓库开发经验,有实时数据仓库开发经验者更佳;4、具有优秀的业务理解能力、自我推动力,有较强的逻辑分析能力,对数据敏感,对大数据处理和分析技术充满激情;5、熟悉数据仓库建设生命周期和流程规范,并掌握主题建模、维度建模理论者优先。 投递...

Premium Full-time
Xiaomi  7 days ago
Z.ai jobs

MaaS-数据开发工程师(风控方向) 北京 全职 互联网 / 电子 / 网游 职位描述 职位描述:1. 负责大模型业务风控数据体系建设,支撑反作弊、反欺诈攻防策略场景,构建高质量、可复用的数据资产,保障数据时效性与准确性。2. 参与实时数仓与特征工程架构设计,覆盖日志接入、非结构化数据处理、特征计算、策略引擎等关键链路,快速响应黑产变化。3. 使用Java/Python开发高效数据处理模块,优化流式计算资源利用率,推动数据治理与工程化实践(CI/CD、单元测试、性能调优)。4. 与算法、安全团队紧密协作,深入理解攻防逻辑,从数据视角主动发现风险并推动策略迭代。 职位要求 任职要求:1. 本科及以上学历,3年以上数据开发经验,有风控/反作弊/反欺诈领域实战经验,对异常数据敏感。2. 熟练掌握Java或Python,精通大数据技术栈,具备扎实的编码能力与工程能力(代码规范、测试、调优、CI/CD),能独立维护高质量数据处理模块。3. 精通离线&实时计算技术栈(Spark/Flink/Kafka),有海量数据实时处理及调优经验;熟悉OLAP引擎(ClickHouse/Doris),能进行数据建模与查询优化。4. 具备非结构化/半结构化数据解析经验(文本、JSON、XML、日志),熟练使用正则表达式、UDF等技术处理脏数据、乱码等问题。加分项:1. 有爬虫数据处理经验,熟悉爬虫数据的清洗、解析、结构化流程。2. 有AI风控实战经验:如用户行为序列建模、图算法、NLP文本风险识别、智能体辅助策略分析等。3. 了解图数据库(Neo4j/HugeGraph)或向量数据库(Milvus/FAISS)。4. 有从0到1搭建风控数据体系经验,具备架构思维和快速响应能力。 投递...

Premium Full-time
Z.ai  5 days ago

Subscribe for job alerts and resources to make your job search easier!

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

Receive the latest job openings for:

java spark jobs in beijing

You also might be interested in:

开发工程师

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

All Filters Apply
Sort by
Job Title
Job Type
Employer/Recruiter