Refine Reset All
Sort by
Job Title
Job Type
Employer/Recruiter
Experience
Date Posted
Job Title
Job Type
Employer/Recruiter
Experience
All Filters

Java Spark Jobs In - 61 Job Positions Available

1 – 20 of 61 jobs
易宝支付 YeePay jobs

风控Java研发工程师 北京 全职 金融 职位描述 期待拥有开放心态、拥抱持续进化的你成为易宝的事业伙伴,共绘 “一群人的浪漫”。1、负责支付风控中台核心子系统的设计与开发,包括但不限于规则引擎、实时决策引擎、变量平台、名单管理系统、人工审核工作流等,支撑每秒万级的高并发实时风控请求。2、与风控策略团队紧密配合,将复杂的反欺诈、反洗钱、反盗刷业务逻辑转化为高效、可维护的技术实现,支持策略的快速上线与A/B测试。3、基于Flink/Spark等大数据技术建设实时特征计算平台,为风控模型与策略提供准实时的指标支持;参与数据清洗、标签体系建设。4、攻克支付场景下的业务技术难题,如防重放、幂等性设计、分布式事务,以及对突发流量(如大促场景) 的弹性伸缩与限流降级。 职位要求 1、本科及以上学历,计算机相关专业,3-5年Java开发经验,其中至少1年以上风控、金融、支付或安全领域研发经验;2、扎实的JAVA基础,熟悉JAVA核心原理,熟练掌握多线程开发,有JVM调优经验优先;3、熟悉分布式系统设计与开发,熟悉Spring等主流框架,熟悉Redis、ES、Sqoop、Kafka、Hive其中的一种或几种中间件4、理解支付/信贷业务中常见的风险类型(盗刷、套现、薅羊毛、商户二清等),了解基本的反欺诈规则(如设备指纹、IP画像、行为序列)。5、有对接三方风控产品经验(如Sift Science、Forter、同盾、邦盛)或自建规则引擎(Drools/EasyRule/Aviator)深度优化经验。 投递...

Premium Full-time
易宝支付 YeePay  15 days ago
Papergames jobs

Java数据平台开发 上海 全职 平台类 职位描述 1. 参与叠纸大数据平台和数据中台建设;2. 参与构建流批一体的数据自助分析平台,支持业务方自助进行数据的快速定位和分析;3. 在传统大数据开发和数仓建模的基础上,探索创新的方案,构建自动化、智能化的建模引擎;4. 保证大数据平台相关服务的稳定性、高可用性,不断优化服务性能。 职位要求 1. 计算机相关专业本科以上学历,5年以上Java相关工作经验;2. 熟练使用常用的JAVA技术框架,并对JAVA Web的各种主流框架如Spring、SpringBoot、MyBatis、Kafka等有深入的应用和优化经验,掌握它的原理和机制;3. 熟练掌握微服务开发和架构设计,有大型复杂业务系统架构设计经验者优先;4. 熟悉一种或多种大数据相关组件者优先,比如:Flink,Spark,Hive,元数据管理等,对组件的原理有深入的了解;5. 具有良好的学习能力、团队协助以及沟通能力,执行力强,对工作有责任心,具备良好的规划、沟通以及协调能力;6. 有数据类产品落地交付经验者优先。加分项:1. 了解python语言,有爬虫、pandas等开发经验更佳;2. 有阿里云平台DataWorks、Hologres、MaxCompute、ADB使用经验;3. 有DataX/HDFS/HIVE等开源工具实际生产使用经验者优先,熟悉源码实现者更佳;4. 有用skills提高开发效率落地场景的经验更佳。 投递...

Premium Full-time
Papergames  12 days ago
ThunderSoft jobs

大数据开发(数据挖掘、数据测试、java) 保定 全职 研发 - 大数据 职位描述 1.负责把传统数据库 MySQL 中的数据通过 Sqoop 工具把数据同步到大数据平台。2.负责创建 kafka 的 topic 以及数据落地等。3.负责根据数据,建库建表,接入数据,权限分配等。4.负责根据原始数据提取出来更为细分的、更容易理解的、偏向于业务层面的数据。5.负责后期的集群中数据的维护以及数据报表的展示6.负责售后业务的数据分析,搭建并迭代业务数据体系,实现了售后KPI看板的上线,监控其业务的流畅性和完整度,发现问题并推动解决。7.通过数据挖掘业务的优化点,全程和业务梳理业务逻辑,共同讨论业务优化方向,并且配合系统研发和系统产品做系统数据埋点,8.推动优化方案的有效落地,迭代售后系统提高系统对人力的替代率,提高业务的工作效率9.统计分析后台数据,并制作成统计图、波形趋势图等各种图表,并以日报、周报、月报、季度、年度报表,根据数据总结分析业务发展趋势,给业务发展提出建议 职位要求 1. 基于自动驾驶大数据处理平台(例如Hadoop/Spark),利用数据挖掘、机器学习等相关算法,解决自动驾驶业务需求,为自动驾驶评测、功能迭代,运营决策提供数据分析依据2. 与产品、系统等团队配合,分析和挖掘自动驾驶功能的体验痛点、表征原因、内在规律等,例如自动驾驶功能潜在风险与事故的数据分析与规律等4. 负责自动驾驶领域的数据探索,从场景,评价,用户,运营等多个维度挖掘数据价值,发现数据和业务背后规律,应用于产品研发、用户运营、商业等各种领域 投递...

ThunderSoft  10 days ago
Xiaomi jobs

Java开发工程师(大数据方向) 武汉 社招 全职 职位 ID:A81002A 职位描述 - 负责小米集团数据中台核心产品的设计与研发,代码测试用例的编写,保障产品质量- 负责大数据相关新技术的预研,探索在小米的落地场景- 负责对重点项目提供技术支持和保障 职位要求 - 本科学历以上,5年以上Java开发经验,计算机,数学相关专业- 精通Java语言,熟悉IO,多线程编程框架,熟悉Spring Cloud,MyBatis,Redis等开源中间件- 熟悉Spark,Flink等常见大数据平台的核心实现,有过复杂系统架构,优化经验者优先- 在互联网公司有过DMP,AB实验平台研发经验者优先- 具备优秀的独立分析和解决问题的能力,良好的沟通表达能力 投递...

Premium Full-time
Xiaomi  7 days ago
Insta360 jobs

数据仓库工程师深圳社招全职职位描述1、负责企业级数据仓库及业务数据集市的架构规划、分层设计(ODS/DWD/DWS/ADS)与落地实施,确保架构的先进性、可扩展性与高性能。2、主导核心业务域的数据建模工作,精通维度建模等方法论,设计通用灵活的数据模型与宽表,保障数据的一致性、完整性与复用性。3、设计并实现高效的ETL/ELT数据集成方案,负责数据提取、转换、加载全流程的开发、调度与优化,解决大规模数据处理中的性能瓶颈。4、推进数据治理体系建设,包括数据质量监控、元数据管理、数据血缘追踪、指标体系标准化等,提升整体数据质量与数据资产价值。5、负责数据仓库的日常运维与故障排查,保障数据服务SLA达标,及时响应并解决数据延迟、数据错误等线上问题,确保数据链路稳定可靠。6、深入理解业务需求,与数据分析、业务部门紧密协作,提供高质量的数据支持与解决方案,支撑业务决策、数据产品迭代及精细化运营。职位要求一、基础要求1、本科及以上学历,计算机科学、数据科学、信息技术等相关专业。2、3-7年及以上数据仓库设计与开发经验,有完整的企业级数据仓库建设项目经验优先。3、具备强烈的责任心、严谨的逻辑思维、良好的沟通协调能力及团队协作精神,对数据敏感,重视数据质量。二、 技术能力1、精通数据仓库理论体系,深入理解分层架构、主题域建模、维度建模等方法论,能结合业务场景设计合理的数据模型。2、精通SQL/HQL/Spark SQL开发及优化,能高效处理TB/PB级大规模数据集,具备复杂查询性能调优实战经验。3、熟悉大数据生态技术栈,具备Hadoop、Hive、Spark、Flink、Kafka等组件的实战应用经验;了解MPP数据库(ClickHouse、Doris)、OLAP引擎(Kylin、Presto)者优先。4、掌握Java/Python/Scala中的至少一种编程语言,具备良好的代码规范与工程化能力;熟悉ETL工具(DataX、Airflow、Kettle)及任务调度系统者优先。5、具备数据治理相关经验,熟悉数据质量监控、元数据管理、数据血缘分析等工具(如Apache Atlas、Griffin)的使用者优先。三、加分项1、有互联网、金融、电商等行业数据仓库建设经验者优先。2、有数据字典、指标管理体系从0到1搭建经验者优先。投递...

Premium Full-time
Insta360  28 days ago
百观科技 BigOne Lab jobs

高级大数据开发工程师北京全职互联网 / 电子 / 网游职位描述- 参与公司数据湖架构搭建和开发;- 参与ETL设计,数据工程建设和数据可视化开发;职位要求基本要求:- 全日制本科学历,计算机相关专业,5年-10年大数据开发工作经验;- 熟悉公有云架构,对阿里云/AWS数据湖生态有丰富的项目经验;- 熟练使用MR/Spark/Flink等大数据计算框架,掌握Java/Scala/Python等开发语言- 掌握数据湖体系架构、数据建模方法、数据治理等知识,较强的业务理解和抽象能力;- 熟系Airflow调度工具,使用Zeppelin、Jupyter Notebook进行数据开发; - 熟系AWS LakeFormation、Glue、EMR大数据组件,使用JavaSpark,Python进行数据分析;加分项:- 数据湖方向做过前瞻性技术规划的建设经验者,优先;- 通过技术驱动产品变革,并带来好的结果经验者,优先;投递...

Premium Full-time
百观科技 BigOne Lab  26 days ago
亚信安全 jobs

大数据开发工程师实习生南京实习互联网 / 电子 / 网游职位描述1. 参与大数据平台的开发与维护,协助构建高可靠、高性能的数据处理系统;2. 协助开发和优化分布式计算任务(如Hadoop/Spark/Flink作业),提升数据处理效率;3. 参与ETL流程设计与实现,支持数据清洗、转换和加载;4. 协助数据仓库与数据建模工作,维护数据表结构和元数据管理;5. 学习并跟踪大数据领域新技术(如实时计算、湖仓一体等)。职位要求1. 学历专业:计算机、软件工程等计算机相关专业本科及以上在校生;2. 技术要求: - 了解至少一种大数据框架(Hadoop/Spark/Flink/Hive/Apache Hudi等); - 熟悉SQL,有NoSQL数据库(如HBase/MongoDB)使用经验者优先; - 掌握Java/Scala中的至少一门编程语言; - 掌握Superset等数据分析工具,了解方法; - 对Linux基础命令和Shell脚本有一定了解;3. 加分项: - 接触过数据仓库(如Hive/Apache Hudi)、消息队列(Kafka)或实时计算技术; - 参与过数据处理或分析相关项目(如竞赛、科研、开源项目);4. 个人素质:逻辑清晰,学习能力强,具备团队协作精神,对大数据技术有热情。实习收获:- 深入实战学习业界主流大数据技术栈;- 接触真实业务场景下的海量数据处理挑战;- 获得资深工程师一对一指导及转正机会。投递...

Premium Full-time
亚信安全  26 days ago
百观科技 BigOne Lab jobs

大数据开发工程师北京全职研发 - 大数据职位描述职位介绍:- 参与公司离线数仓的架构和搭建工作;- 参与DataPipeline,DataFlow、流程自动化、数据可视化的开发工作;- 参与架构优化、性能改进、功能完善、故障分析等工作;基本要求:- 全日制本科及以上学历,计算机相关专业;- 3年及以上大数据开发工作经验;- 熟悉Hadoop生态,对Spark、Hive、Presto等组件有丰富的使用和开发经验;- 有Airflow等调度工具的设计、开发经验; - 熟悉数仓模型的设计,分层设计和管理;- 可以熟练使用Java或Pyhton进行开发工作;加分项:- 使用过AWS大数据组件;- 参与过数据湖、湖仓一体的建设;- 有元数据管理、数据治理、数据目录、数据资产管理等相关经验;职位要求-投递...

Premium Full-time
百观科技 BigOne Lab  26 days ago
酷睿程 (CARIZON) jobs

湖仓开发工程师北京社招全职互联网 / 电子 / 网游职位描述-负责企业级数据湖仓平台的设计、开发与维护;-负责湖仓内数据建模、数据加工、数据采集、分层设计等工作,保证数据质量与一致性;-负责编写高性能ETL任务,维护Flink、Spark等计算任务的稳定运行;-负责元数据管理、数据质量监控、数据血缘分析、权限系统的设计与开发;-和业务方进行需求对接,完成业务数据到湖仓到使用的全链路工作;职位要求-计算机、大数据等相关专业,本科及以上学历;-精通Java、Python、Go等语言中一种或多种,具备良好的编码习惯;-熟练掌握Spark、Flink、Kafka、Hive、Doris等大数据组件,深入理解端到端一致性及具体实现,具备实时湖仓开发经验;-熟悉数据湖技术(如Iceberg)、湖仓分层、湖仓一体架构,深入理解ACID、Schema Evolution、Time Travel等核心特性及使用场景;-具备良好的沟通协作能力,主动性强,能独立定位和解决问题;-熟悉Iceberg、Flink、Doris等相关大数据组件源码者优先;-有自动驾驶领域的湖仓数据平台开发经验者优先。投递...

Premium Full-time
酷睿程 (CARIZON)  26 days ago
极兔速递 (J&T Express) jobs

【集团】数据工程师-数据驾舱上海全职职位描述1、本科及以上学历,3年及以上大数据相关开发经验;2、熟悉大数据实时计算生态体系,对hdfs、flink、spark等有深入理解;3、有flink,数据库,sql查询优化,性能优化相关经验者优先;4、优秀的业务理解能力、逻辑性和沟通能力,能跨部门合作沟通;职位要求1、深入理解流式sql原理及应用场景,并实现完备的流式sql功能;2、负责流式sql查询优化、运行时优化、问题诊断及分析等;3、负责流计算引擎flink的调度优化、执行优化,支撑高吞吐、大状态作业的稳定运行;4、负责实时计算在业务上的应用,如实时多维分析、实时异常监控排查等;5、负责业务线实时数仓的规划、设计以及建设;6、熟练掌握至少一种编程语言(如Java、Scala)。投递...

Premium Full-time
极兔速递 (J&T Express)  25 days ago
State Street jobs

Job Description Who we are looking for We are seeking a skilled Gen AI Developer with deep hands-on engineering expertise and proven leadership experience building production-grade AI systems. The ideal candidate combines strong software engineering fundamentals

State Street  24 days ago
Alluxio jobs

Are you interested in joining a group of highly talented engineers working on a open source project that is solving challenging problems across big data analytics, machine learning and artificial intelligence? As customers continuously push the

Alluxio  23 days ago
TideSwing 可话 jobs

后端工程师北京全职研发 - 后端开发职位描述1、负责「可话」App 的服务端 API 设计和开发工作2、负责 App 后端平台的规划、部署、监控、系统优化3、参与深度学习工程化和 AI 系统开发的相关工作4、参与云服务的架构搭建和演进职位要求1、计算机或相关专业,2 年工作经验以上2、擅长至少 2 门编程语言,包括 Kotlin/Java/Python/Golang 中的一种,熟悉 Restful、微服务等 Web 服务设计理念3、了解容器技术的原理,熟悉 Docker 的相关操作4、有云原生开发、DevOps 实践经验的优先5、有业务敏感性,有大数据开源系统(Hadoop,Spark,Kafka,Presto 等)使用经验的优先6、有开源图数据库(neo4j、orientdb)使用经验的优先7、有开源深度学习框架(TensorFlow、Pytorch)项目经验优先投递...

TideSwing 可话  19 days ago
TideSwing 可话 jobs

SRE高级工程师北京全职研发 - 后端开发职位描述1、致力于打造高扩展、高可用的分布式系统2、保障云原生下各个服务之间的稳定运行,保障设计到上线的整个生命周期内保障系统可靠性3、提供大型系统的自动化运维方案4、建立良好的观测性、性能指标帮助团队快速定位故障5、提升服务的可靠性、可扩展性以及成本、性能优化,保障系统 SLA6、基于业务使用场景,深入优化提供最佳服务治理实践,包含不局限于关键链路性能瓶颈分析、业务问题定位排障、推进系统高可用架构改造升级等职位要求1、本科以上学历, 计算机相关专业, 并有三年以上相关领域工作经验2、扎实的计算机软件基础知识; 了解 Linux 操作系统、存储、网络 IO 等相关原理3、熟悉一种或多种编程语言,例如 Go/Python/Java/Shell等4、具有相关计算/分布式/大数据等系统经验优先(Nginx/Kubernetes/Docker/OpenStack/Hadoop/Spark/Flink/虚拟化/分布式存储等)投递...

Premium Full-time Linux IO
TideSwing 可话  19 days ago
Coupang jobs

Please complete the attached Internal TransferRequest Formand submit. Please make sure to apply with your Coupang e-mail address. Company Introduction We exist to wow our customers. We know we’re doing the right thing when we hear

Coupang  19 days ago
小米科技 Xiaomi Technology jobs

大数据开发工程师-汽车专项-实习上海校招实习软件研发类职位描述方向一:1.负责智能网联平台大数据需求分析、输出技术方案、数据开发工作;2.参与智能网联平台整车数仓建设及数据集市建设(数据ETL、数据建模、指标开发);3.参与智能网联平台大数据平台建设(离线/实时计算、数据质量、数据可视化、数据服务开发);4.负责智能网联大数据应用功能模块部署上线、线上问题分析、跟踪解决。方向二:负责电驱,电池,热管理等动力零部件的用户画像负责动力零部件的大数据健康监控和分析负责动力零部件的大数据转化,生成加速试验工况负责测试数据的云端自动化分析等处理分析任务职位要求1.计算机、软件工程、数据科学、统计学相关专业;2.熟练掌握SQL语言,熟练掌握Spark SQL&Spark离线计算、Flink实时计算技术优先;3.掌握数据仓库基本概念(如星型模型、雪花模型、数据分层),有数据仓库建模或ETL开发经验者优先;4.掌握Python编程语言,熟悉Pandas、NumPy等数据处理库,掌握一定的机器学习、深度学习算法,了解LLM相关知识&Java编程语言是加分项;5.有良好的沟通能力,能高效完成安排的工作;投递...

Premium Full-time
小米科技 Xiaomi Technology  17 days ago
米可世界 MICO WORLD jobs

数据仓库工程师 北京 全职 互联网 / 电子 / 网游 职位描述 我们正在寻找一位基础扎实、对数据敏感的数据仓库开发工程师。您将负责设计、构建、优化和维护公司核心业务决策所依赖的数据仓库、数据集市及相关数据资产,确保数据的高质量、一致性和可访问性,为业务决策提供坚实的数据基础。1 负责业务数据仓库的设计和优化,包括数据模型设计、ETL/ELT流程开发,性能优化,数据质量保障,支持业务快速迭代。2 管理数据仓库中的元数据信息,包括数据来源、数据定义和数据关系,提升数据可发现性和可理解性。3 与数据分析师、产品经理及业务部门紧密协作,理解业务需求并转化为高效的数据解决方案。 职位要求 1 3年以上大数据/数仓开发经验,能够编写复杂SQL,精通数仓建模方法论,以及在社交,游戏,电商等领域有实际的项目交付经验2 熟练掌握常用的大数据组件,了解其使用场景和优势。包括但不限于:Hive/Presto/StarRocks/Spark/Flink 等3 至少掌握一种编程语言,包括但不限于:Python/Java/Scala等,具备良好的工程化思维。4 具备良好的数据质量管理意识,能够设计并实施数据质量监控体系5 优秀的沟通能力和团队协作精神,能够与非技术团队有效沟通数据需求。具备以下项目经验优先考虑1 有大规模数据仓库设计与优化经验,处理过PB级数据,了解数据湖,有iceberg 项目经验2 具备数据治理、元数据管理相关项目经验 投递...

Premium Full-time
米可世界 MICO WORLD  16 days ago
米可世界 MICO WORLD jobs

数据平台开发工程师 北京 全职 互联网 / 电子 / 网游 职位描述 我们正在寻找平台开发工程师加入团队,协作实现现代化Lakehouse平台的落地,推进云原生数据架构的实践与应用。我们致力于打造高性能、弹性的云原生数据平台,全面支持AI及多元业务场景,通过数据洞察驱动业务决策与技术优化。希望你具备自驱力、解决问题能力和工程落地经验,拥有云计算(Cloud)或大数据(Big Data)领域背景者更佳。1.参与Lakehouse平台的核心模块开发与技术方案实施2.实现云原生环境下的资源调度与作业编排系统落地及调优3.构建高效、可扩展的Lakehouse存储系统,实施统一元数据管理与数据治理功能 职位要求 1.熟练掌握Java/Golang/Rust(至少一门),有企业级系统开发经验2.熟悉Kubernetes基础组件,具备CNI/CSI/Operator运维或调试经验者优先3.了解主流大数据技术(如Spark/Flink/StarRocks/Presto)4.扎实的工程实现能力,良好的团队协作意识以下优先:1.有向量化执行引擎应用经验,或Spark任务卸载(Offload)到Native引擎的实践案例2.参与过数据库(Database)/云计算(Cloud)领域开源项目 投递...

Premium Full-time
米可世界 MICO WORLD  16 days ago
正浩 EcoFlow jobs

AI算法工程师 深圳 正式 能源 / 矿产 / 环保 / 农林牧渔 研发 职位描述 1、能源场景数据分析:处理多源异构数据(如传感器数据、用电日志、气象数据等),挖掘能源发-储-配-用规律;2、储能AI算法研发:开发能源需求预测、需求响应、多设备调控算法,构建智慧化能源管理;3、智能交互算法研发:研发面向端、边、云的多模态(图像、语音、文本等)人机交互算法,构建个性化交互体验;4、参与建立AI辅助编程的标准化及基于dify/Aily构建自动化工作流建设;5、AI模型优化与部署:参与面向端-边-云各场景的模型性能迭代,参与AI模型部署;6、跨团队协作与创新落地:推动AI算法与硬件的高效集成,参与家庭储能新功能概念验证及产品导入。 职位要求 1、2027届获得硕士研究生及以上学位,计算机、数学或统计学等相关专业优先;2、在机器学习、深度学习、统计分析、大数据处理等领域有深入学习和一定个人实践;3、优秀的算法应用能力,包括特征提取、模型建立、效果评估古、应用部署以及优化选代等环节;4、优秀的编程能力,至少熟悉一门常用语言及相关的算法库,如java、python、R等;5、对时间序列建模和营销场景推荐、效果预估、效果分析等领烦域有一定的经验优先;6、会使用spark、hadoop、hive等分布式计算优先;7、热衷于创新技术,适应一定的工作压力。较强的业务敏感度,数据敏感度的优先。 投递...

Premium Full-time
正浩 EcoFlow  15 days ago
正浩 EcoFlow jobs

【校招实习】AI算法工程师 深圳 实习 研发 - 机器学习 研发 - 软件研发 职位描述 1、能源场景数据分析:处理多源异构数据(如传感器数据、用电日志、气象数据等),挖掘能源发-储-配-用规律;2、储能AI算法研发:开发能源需求预测、需求响应、多设备调控算法,构建智慧化能源管理;3、智能交互算法研发:研发面向端、边、云的多模态(图像、语音、文本等)人机交互算法,构建个性化交互体验;4、参与建立AI辅助编程的标准化及基于dify/Aily构建自动化工作流建设;5、AI模型优化与部署:参与面向端-边-云各场景的模型性能失代,参与AI模型部署;6、跨团队协作与创新落地:推动AI算法与硬件的高效集成,参与家庭储能新功能概念验证及产品导入。 职位要求 1、2027届硕士及以上在读,在机器学习、深度学习、统计分析、大数据处理等领域有深入学习和一定个人实践;2、优秀的算法应用能力,包括特征提取、模型建立、效果评估、应用部署以及优化选代等环节;3、优秀的编程能力,至少熟悉一门常用语言及相关的算法库,如java、python、R等;4、对时间序列建模和营销场景推荐、效果预估、效果分析等领烦域有一定的经验优先;5、会使用spark、hadoop、hive等分布式计算优先;6、计算机、数学或统计学等相关专业优先,热衷于创新技术,能够快速适应工作节奏;7、较强的业务敏感度,数据敏感度的优先。 投递...

Premium Full-time
正浩 EcoFlow  15 days ago

Subscribe for job alerts and resources to make your job search easier!

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

Receive the latest job openings for:

java spark jobs in china

You also might be interested in:

开发工程师

AI

Storage Solutions

ETL

Data Processing

Python

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

All Filters Apply
Sort by
Job Title
Job Type
Employer/Recruiter
Experience