Refine Reset All
Sort by
Job Type
Employer/Recruiter
Date Posted
Location
Job Type
Employer/Recruiter
All Filters

Java Spark Jobs In Shenzhen - 10 Job Positions Available

1 – 9 of 10 jobs
HKEX jobs

Location:CN-Shenzhen-HyQ Shift:Standard - 40 Hours (China) Scheduled Weekly Hours:40 Worker Type:Permanent Job Summary:Lead the design and delivery of LME market data platforms that consolidate multiple real-time and historical market data sources into scalable enterprise data assets

HKEX  18 days ago
HKEX jobs

Location:CN-Shenzhen-HyQ Shift:Standard - 40 Hours (China) Scheduled Weekly Hours:40 Worker Type:Permanent Job Summary:This role is a critical part of the Enterprise data team involved in the replacement of legacy ETL (Informatica) tool by providing key data

HKEX  18 days ago
HKEX jobs

Location:CN-Shenzhen-HyQ Shift:Standard - 40 Hours (China) Scheduled Weekly Hours:40 Worker Type:Permanent Job Summary:Lead the design and delivery of LME market data platforms that consolidate multiple real-time and historical market data sources into scalable enterprise data assets

HKEX  18 days ago
RayNeo jobs

AI数据研发工程师 深圳 全职 互联网 / 电子 / 网游 职位描述 1、负责用户context信息采集体系的搭建、优化与落地,设计多源数据采集方案(涵盖用户行为、设备信息、交互轨迹等),对接前后端业务模块,制定采集标准,保障采集数据的完整性、准确性和实时性。2、主导数据平台全流程搭建与运维,负责音频、视频等全天候数据的接收、解析、转码、存储及流转管理,搭建高可用、高可靠的数据链路,处理海量音视频及3、结构化数据,保障平台7×24小时稳定运行,支撑业务正常运转及数据供给。优化数据处理管道,针对音视频数据体积大、处理效率低等特性,制定优化方案,提升数据处理时效与存储利用率,输出标准化、高质量的数据,为大模型训练提供合规、可用的训练语料(音视频、用户行为相关数据等)。4、负责数据平台监控体系搭建与维护,配置关键指标(数据采集量、处理延迟、存储占用、链路稳定性)监控告警,快速响应并排查数据丢失、传输异常、系统卡顿等故障,保障数据供给不中断。5、协同业务团队、算法团队,梳理业务数据需求及大模型训练数据需求,优化数据筛选、脱敏、标注流程,输出贴合需求的数据解决方案,支撑业务决策与大模型迭代训练。6、负责数据平台架构迭代优化,引入合适的技术框架,提升平台扩展性、可维护性,适配业务增长及大模型训练的数据量级提升需求,保障数据安全合规。 职位要求 1、学历要求:本科及以上学历,计算机、大数据、软件工程等相关专业,1-3年及以上数据平台相关工作经验。2、技术能力:精通Flume、Logstash、Kafka等数据采集工具,熟练掌握Hadoop、Spark、Flink等大数据框架,具备音视频数据处理、用户context信息采集相关经验。3、运维能力:熟悉Docker、K8s容器化部署,具备全天候数据平台运维、性能优化及故障排查能力,能快速响应线上问题,保障平台高可用。4、存储与安全:熟悉HDFS、HBase、MySQL、MongoDB等存储方案,掌握数据脱敏、备份与恢复方法,了解数据安全合规相关要求,能保障数据安全。语言与工具:熟练使用Java、Python、Scala其中一种及以上编程语言,掌握Shell脚本编写,熟悉Prometheus、Grafana等监控工具者优先。5、业务理解:具备良好的业务敏感度,能快速理解数据平台对业务支撑、大模型训练的核心价值,具备较强的跨团队沟通协作能力和问题解决能力。6、加分项:有大模型训练数据供给、音视频全天候数据平台搭建相关经验者优先;熟悉数据分层设计、数据治理相关工作者优先。 投递...

Premium Full-time
RayNeo  14 days ago
正浩 EcoFlow jobs

【校招实习】AI算法工程师 深圳 实习 研发 - 机器学习 研发 - 软件研发 职位描述 1、能源场景数据分析:处理多源异构数据(如传感器数据、用电日志、气象数据等),挖掘能源发-储-配-用规律;2、储能AI算法研发:开发能源需求预测、需求响应、多设备调控算法,构建智慧化能源管理;3、智能交互算法研发:研发面向端、边、云的多模态(图像、语音、文本等)人机交互算法,构建个性化交互体验;4、参与建立AI辅助编程的标准化及基于dify/Aily构建自动化工作流建设;5、AI模型优化与部署:参与面向端-边-云各场景的模型性能失代,参与AI模型部署;6、跨团队协作与创新落地:推动AI算法与硬件的高效集成,参与家庭储能新功能概念验证及产品导入。 职位要求 1、2027届硕士及以上在读,在机器学习、深度学习、统计分析、大数据处理等领域有深入学习和一定个人实践;2、优秀的算法应用能力,包括特征提取、模型建立、效果评估、应用部署以及优化选代等环节;3、优秀的编程能力,至少熟悉一门常用语言及相关的算法库,如java、python、R等;4、对时间序列建模和营销场景推荐、效果预估、效果分析等领烦域有一定的经验优先;5、会使用spark、hadoop、hive等分布式计算优先;6、计算机、数学或统计学等相关专业优先,热衷于创新技术,能够快速适应工作节奏;7、较强的业务敏感度,数据敏感度的优先。 投递...

Premium Full-time
正浩 EcoFlow  10 days ago
EcoFlow jobs

全栈开发工程师(供应链) 深圳 全职 研发 - 后端开发 职位 ID:A237495 职位描述 1、具备 3 年及以上 MES / WMS / QMS / TMS 等制造系统相关开发经验,熟悉生产、质量、仓储、物流等核心业务流程,对智能制造、工业互联网业务场景有实际项目经验;2、具备良好的 系统架构设计能力,能够从整体业务视角进行系统拆分与技术规划,具备复杂系统的高可用、高扩展、高并发架构设计经验;精通 Java 开发,基础扎实,熟练使用 Spring Boot / Spring Cloud 微服务技术体系,具备微服务拆分、接口设计及服务治理实践经验;3、熟悉 MyBatis、Hibernate、Spring Data JPA 等主流持久层框架,具备良好的数据库建模能力,能够编写高性能 SQL,并具备数据库性能优化和分布式事务处理经验;4、熟悉微服务核心基础组件与治理方案,包括 服务注册与配置管理( Nacos/Dubbo/Apollo),Gateway /

EcoFlow  7 days ago
Insta360 jobs

数据湖开发工程师 深圳 社招 全职 职位描述 1、负责企业级数据湖平台的设计、开发与运维,支撑海量数据存储与分析。2、基于 Iceberg/Lance 构建湖仓一体架构,提升数据管理能力。3、设计并实现数据全生命周期的加密方案(静态加密、传输加密、字段级加密),落地脱敏、分级分类、权限管控等安全机制,确保合规(GDPR / 等保 / 个保法)。4、参与数据治理体系建设,包括不限于数据质量、数据血缘、数据生命周期等能力建设。5、优化数据存储、计算性能及资源成本,保障平台稳定运行。6、推动数据湖与 AI、数据分析等业务场景结合落地。 职位要求 1、本科及以上学历,计算机/软件/数据相关专业,3年以上大数据/数据平台研发经验。2、熟练掌握 Java/Scala/Python 中至少一种开发语言。3、熟悉 Spark、Flink 等分布式计算框架及其运行原理。4、熟悉 Iceberg、Hudi等数据湖技术中的至少一种,有生产实践经验。5、熟悉 Kafka 等消息中间件及实时数据处理架构。6、熟悉分布式存储、对象存储及数据湖存储架构。7、熟悉 Docker、Kubernetes 等云原生技术优先。8、有完整的数据治理实践经验,熟悉 Atlas / DataHub / Amundsen 等元数据与血缘工具,了解 DAMA、DCMM 等方法论。9、熟悉数据加密与安全:对称/非对称加密、KMS、TDE、字段级加密、Tokenization、动态脱敏;了解 Ranger / Sentry 等权限框架。10、熟悉向量检索相关技术:主流向量数据库( Milvus /

Insta360  6 days ago
正浩 EcoFlow jobs

AI算法工程师 深圳 正式 能源 / 矿产 / 环保 / 农林牧渔 研发 职位描述 1、能源场景数据分析:处理多源异构数据(如传感器数据、用电日志、气象数据等),挖掘能源发-储-配-用规律;2、储能AI算法研发:开发能源需求预测、需求响应、多设备调控算法,构建智慧化能源管理;3、智能交互算法研发:研发面向端、边、云的多模态(图像、语音、文本等)人机交互算法,构建个性化交互体验;4、参与建立AI辅助编程的标准化及基于dify/Aily构建自动化工作流建设;5、AI模型优化与部署:参与面向端-边-云各场景的模型性能失代,参与AI模型部署;6、跨团队协作与创新落地:推动AI算法与硬件的高效集成,参与家庭储能新功能概念验证及产品导入。 职位要求 1、2027届获得硕士及以上学历,计算机、数学或统计学等相关专业优先;2、在机器学习、深度学习、统计分析、大数据处理等领域有深入学习和一定个人实践;3、优秀的算法应用能力,包括特征提取、模型建立、效果评估、应用部署以及优化选代等环节;4、优秀的编程能力,至少熟悉一门常用语言及相关的算法库,如java、python、R等;5、对时间序列建模和营销场景推荐、效果预估、效果分析等领域有一定的经验优先;会使用spark、hadoop、hive等分布式计算优先;6、较强的业务敏感度,数据敏感度的优先。 投递...

Premium Full-time
正浩 EcoFlow  6 days ago
Insta360 jobs

数据仓库工程师 深圳 社招 全职 职位描述 1、负责企业级数据仓库及业务数据集市的架构规划、分层设计(ODS/DWD/DWS/ADS)与落地实施,确保架构的先进性、可扩展性与高性能。2、主导核心业务域的数据建模工作,精通维度建模等方法论,设计通用灵活的数据模型与宽表,保障数据的一致性、完整性与复用性。3、设计并实现高效的ETL/ELT数据集成方案,负责数据提取、转换、加载全流程的开发、调度与优化,解决大规模数据处理中的性能瓶颈。4、推进数据治理体系建设,包括数据质量监控、元数据管理、数据血缘追踪、指标体系标准化等,提升整体数据质量与数据资产价值。5、负责数据仓库的日常运维与故障排查,保障数据服务SLA达标,及时响应并解决数据延迟、数据错误等线上问题,确保数据链路稳定可靠。6、深入理解业务需求,与数据分析、业务部门紧密协作,提供高质量的数据支持与解决方案,支撑业务决策、数据产品迭代及精细化运营。 职位要求 一、基础要求1、本科及以上学历,计算机科学、数据科学、信息技术等相关专业。2、3-7年及以上数据仓库设计与开发经验,有完整的企业级数据仓库建设项目经验优先。3、具备强烈的责任心、严谨的逻辑思维、良好的沟通协调能力及团队协作精神,对数据敏感,重视数据质量。二、 技术能力1、精通数据仓库理论体系,深入理解分层架构、主题域建模、维度建模等方法论,能结合业务场景设计合理的数据模型。2、精通SQL/HQL/Spark SQL开发及优化,能高效处理TB/PB级大规模数据集,具备复杂查询性能调优实战经验。3、熟悉大数据生态技术栈,具备Hadoop、Hive、Spark、Flink、Kafka等组件的实战应用经验;了解MPP数据库(ClickHouse、Doris)、OLAP引擎(Kylin、Presto)者优先。4、掌握Java/Python/Scala中的至少一种编程语言,具备良好的代码规范与工程化能力;熟悉ETL工具(DataX、Airflow、Kettle)及任务调度系统者优先。5、具备数据治理相关经验,熟悉数据质量监控、元数据管理、数据血缘分析等工具(如Apache Atlas、Griffin)的使用者优先。三、加分项1、有互联网、金融、电商等行业数据仓库建设经验者优先。2、有数据字典、指标管理体系从0到1搭建经验者优先。 投递...

Premium Full-time
Insta360  6 days ago

Subscribe for job alerts and resources to make your job search easier!

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

Receive the latest job openings for:

java spark jobs in shenzhen

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

All Filters Apply
Sort by
Job Type
Employer/Recruiter