Refine Reset All
Sort by
Employer/Recruiter
Date Posted
Location
Job Type
Employer/Recruiter
All Filters

Python Spark Jobs In Beijing (Peking) - 19 Job Positions Available

1 – 19 of 19 jobs
百观科技 BigOne Lab jobs

高级大数据开发工程师北京全职互联网 / 电子 / 网游职位描述- 参与公司数据湖架构搭建和开发;- 参与ETL设计,数据工程建设和数据可视化开发;职位要求基本要求:- 全日制本科学历,计算机相关专业,5年-10年大数据开发工作经验;- 熟悉公有云架构,对阿里云/AWS数据湖生态有丰富的项目经验;- 熟练使用MR/Spark/Flink等大数据计算框架,掌握Java/Scala/Python等开发语言- 掌握数据湖体系架构、数据建模方法、数据治理等知识,较强的业务理解和抽象能力;- 熟系Airflow调度工具,使用Zeppelin、Jupyter Notebook进行数据开发; - 熟系AWS LakeFormation、Glue、EMR大数据组件,使用Java,SparkPython进行数据分析;加分项:- 数据湖方向做过前瞻性技术规划的建设经验者,优先;- 通过技术驱动产品变革,并带来好的结果经验者,优先;投递...

Premium Full-time
百观科技 BigOne Lab  24 days ago
百观科技 BigOne Lab jobs

数据分析师(数据科学方向)北京全职互联网 / 电子 / 网游职位描述职位描述:数据分析师是百观数据产品开发的中坚力量。我们会一起挑战数据分析相关的各种有趣问题。在自由开放的氛围下,将前沿的数据科学、数据分析技术转化成业界独一无二,极具价值的产品。职责:与产品经理一起分析需求,设计数据产品的计算方案、可视化方案以及更深入的挖掘数据价值将数据科学应用到实际产品开发中职位要求基本要求:- 本科及以上学历;统计、数据科学、计算机等相关专业;- 精通至少一种脚本语言,例如Python;熟悉至少一个数据科学模块,例如Sklearn, TensorFlow, Pytorch;深刻理解所使用的算法细节- 擅长将复杂的算法及量化分析过程,以清晰、准确和高效的方式,与跨部门或不同背景的同事交流- 熟悉处理和分析复杂、大量和多维度的多源数据- 熟悉关系型数据库和数据库查询语言,例如SQL- 有使用大数据处理相关组件的经验,例如Spark, Hadoop, Presto- 良好的英文阅读和沟通能力投递...

Premium Full-time
百观科技 BigOne Lab  24 days ago
酷睿程 (CARIZON) jobs

湖仓开发工程师北京社招全职互联网 / 电子 / 网游职位描述-负责企业级数据湖仓平台的设计、开发与维护;-负责湖仓内数据建模、数据加工、数据采集、分层设计等工作,保证数据质量与一致性;-负责编写高性能ETL任务,维护Flink、Spark等计算任务的稳定运行;-负责元数据管理、数据质量监控、数据血缘分析、权限系统的设计与开发;-和业务方进行需求对接,完成业务数据到湖仓到使用的全链路工作;职位要求-计算机、大数据等相关专业,本科及以上学历;-精通Java、Python、Go等语言中一种或多种,具备良好的编码习惯;-熟练掌握Spark、Flink、Kafka、Hive、Doris等大数据组件,深入理解端到端一致性及具体实现,具备实时湖仓开发经验;-熟悉数据湖技术(如Iceberg)、湖仓分层、湖仓一体架构,深入理解ACID、Schema Evolution、Time Travel等核心特性及使用场景;-具备良好的沟通协作能力,主动性强,能独立定位和解决问题;-熟悉Iceberg、Flink、Doris等相关大数据组件源码者优先;-有自动驾驶领域的湖仓数据平台开发经验者优先。投递...

Premium Full-time
酷睿程 (CARIZON)  24 days ago
Amazon.com jobs

Amazon ATE (Analytics Technology and Engineering) team is seeking for a contractor Data Engineer of deep expertise in creation and management of datasets. The role is responsible to build data analytical solutions that will address increasingly

Amazon.com  20 days ago
TideSwing 可话 jobs

后端工程师北京全职研发 - 后端开发职位描述1、负责「可话」App 的服务端 API 设计和开发工作2、负责 App 后端平台的规划、部署、监控、系统优化3、参与深度学习工程化和 AI 系统开发的相关工作4、参与云服务的架构搭建和演进职位要求1、计算机或相关专业,2 年工作经验以上2、擅长至少 2 门编程语言,包括 Kotlin/Java/Python/Golang 中的一种,熟悉 Restful、微服务等 Web 服务设计理念3、了解容器技术的原理,熟悉 Docker 的相关操作4、有云原生开发、DevOps 实践经验的优先5、有业务敏感性,有大数据开源系统(Hadoop,Spark,Kafka,Presto 等)使用经验的优先6、有开源图数据库(neo4j、orientdb)使用经验的优先7、有开源深度学习框架(TensorFlow、Pytorch)项目经验优先投递...

TideSwing 可话  17 days ago
TideSwing 可话 jobs

NLP 算法工程师北京全职研发 - 算法职位描述1、实时推荐算法的研究实现及用户画像的构建2、研究机器学习、NLP、推荐算法的前沿进展,在内容挖掘、推荐、App 用户增长方面进行创新应用3、通过数据分析洞察用户需求,并制定可扩展的产品技术解决方案4、参与和推动机器学习、人工智能等技术落地到产品职位要求1、硕士以上学历2、有推荐系统经验、NLP 经验,2 年或以上机器学习经验优先3、熟悉 Tensorflow、Pytorch 等机器学习框架及用户分群模型、主流推荐模型的构建及原理4、必须掌握 Python,有工程经验5、精通 NLP 领域或推荐领域的相关技术,对数据结构和算法设计有深刻的理解 6、熟悉 Hadoop、Hive、Spark、Storm 等分布式计算架构优先投递...

TideSwing 可话  17 days ago
TideSwing 可话 jobs

SRE高级工程师北京全职研发 - 后端开发职位描述1、致力于打造高扩展、高可用的分布式系统2、保障云原生下各个服务之间的稳定运行,保障设计到上线的整个生命周期内保障系统可靠性3、提供大型系统的自动化运维方案4、建立良好的观测性、性能指标帮助团队快速定位故障5、提升服务的可靠性、可扩展性以及成本、性能优化,保障系统 SLA6、基于业务使用场景,深入优化提供最佳服务治理实践,包含不局限于关键链路性能瓶颈分析、业务问题定位排障、推进系统高可用架构改造升级等职位要求1、本科以上学历, 计算机相关专业, 并有三年以上相关领域工作经验2、扎实的计算机软件基础知识; 了解 Linux 操作系统、存储、网络 IO 等相关原理3、熟悉一种或多种编程语言,例如 Go/Python/Java/Shell等4、具有相关计算/分布式/大数据等系统经验优先(Nginx/Kubernetes/Docker/OpenStack/Hadoop/Spark/Flink/虚拟化/分布式存储等)投递...

Premium Full-time Linux IO
TideSwing 可话  17 days ago
米可世界 MICO WORLD jobs

数据仓库工程师 北京 全职 互联网 / 电子 / 网游 职位描述 我们正在寻找一位基础扎实、对数据敏感的数据仓库开发工程师。您将负责设计、构建、优化和维护公司核心业务决策所依赖的数据仓库、数据集市及相关数据资产,确保数据的高质量、一致性和可访问性,为业务决策提供坚实的数据基础。1 负责业务数据仓库的设计和优化,包括数据模型设计、ETL/ELT流程开发,性能优化,数据质量保障,支持业务快速迭代。2 管理数据仓库中的元数据信息,包括数据来源、数据定义和数据关系,提升数据可发现性和可理解性。3 与数据分析师、产品经理及业务部门紧密协作,理解业务需求并转化为高效的数据解决方案。 职位要求 1 3年以上大数据/数仓开发经验,能够编写复杂SQL,精通数仓建模方法论,以及在社交,游戏,电商等领域有实际的项目交付经验2 熟练掌握常用的大数据组件,了解其使用场景和优势。包括但不限于:Hive/Presto/StarRocks/Spark/Flink 等3 至少掌握一种编程语言,包括但不限于:Python/Java/Scala等,具备良好的工程化思维。4 具备良好的数据质量管理意识,能够设计并实施数据质量监控体系5 优秀的沟通能力和团队协作精神,能够与非技术团队有效沟通数据需求。具备以下项目经验优先考虑1 有大规模数据仓库设计与优化经验,处理过PB级数据,了解数据湖,有iceberg 项目经验2 具备数据治理、元数据管理相关项目经验 投递...

Premium Full-time
米可世界 MICO WORLD  14 days ago
米可世界 MICO WORLD jobs

高级数据挖掘算法工程师 北京 全职 互联网 / 电子 / 网游 职位描述 1、在千万级DAU的社交、内容消费产品中,围绕广告投放优化、业务风控、推荐算法等场景的需要,运用数据挖掘和机器学习技术,解决业务中面临的算法问题;2、深度参与多条业务线的产品研发过程,和产运、工程、数据等职能同学密切配合,提升业务价值; 职位要求 1、计算机相关专业本科及以上学历,3年以上工作经验;2、扎实的计算机基础和代码能力,熟练使用Python等编程语言,拥有基于Spark/hadoop等平台海量数据处理经验;3、良好的业务Sense和数据挖掘经验,对大数据应用有深入理解,有成功落地的项目经验;4、具备较强的业务理解和算法建模能力,有良好的团队沟通能力、推动能力和抗压能力。 投递...

Premium Full-time
米可世界 MICO WORLD  14 days ago
Veeva Systems jobs

Veeva Systems is a mission-driven organization and pioneer in industry cloud, helping life sciences companies bring therapies to patients faster. As one of the fastest-growing SaaS companies in history, we surpassed $3B in revenue in our

Veeva Systems  11 days ago
小米科技 Xiaomi Technology jobs

AIoT研发实习生 北京 校招 实习 软件研发类 职位描述 1. 编写程序处理IoT设备实时数据,对采集到的 IoT 数据进行清洗,去除噪声、无效值和重复信息。2. 在指导下用 Flink 编写实时流处理作业,对 IoT 实时数据流进行转换、聚合和分析。3. 使用 Java 与 Hadoop 生态(HDFS、Hive)交互,将处理后的 IoT 数据存储到合适的存储系统中。设计合理的数据存储架构,以支持高效的数据查询和分析。4. 运用 SQL 对 IoT 数据进行复杂的查询和分析,挖掘数据背后的业务价值。同时,结合数据仓库技术,构建 IoT 数据集市,为企业的决策提供有力的数据支持。5. 主动思考如何将 AI 算法(如机器学习、深度学习)应用于 IoT 数据处理和分析中,以提升系统的智能化水平。6. 参与设计和开发基于 AI

小米科技 Xiaomi Technology  8 days ago
小米科技 Xiaomi Technology jobs

自动驾驶数据挖掘工程师实习生 北京 校招 实习 软件研发类 职位描述 1.负责自动驾驶相关数据挖掘的开发;2.负责自动驾驶相关数据的分析3.负责自动驾驶数据挖掘相关工具链和产品开发 职位要求 1.硕士及以上学历;2.良好的逻辑思维能力,熟悉大规模数据处理挖掘、数据流程搭建等;3.精通Python、Java、C、C++中至少一门编程语言,熟练运用各种常用算法和数据结构,有独立的实现能力;4.具备良好的学习能力和沟通交流能力,能够迅速熟悉业务、融入团队。5.实习时长至少6个月,每周至少4天加分项:1.有过自动驾驶相关领域的研究和实习经历;2.熟悉Spark、Iceberg等数据湖仓大数据开源技术;3.对AI大模型领域有相关研究或实践; 投递...

Premium Full-time
小米科技 Xiaomi Technology  8 days ago
NIO jobs

数据分析工程师(实习) 北京 实习 数字技术 职位 ID:A139723 职位描述 - 负责智能语音业务场景下的用户行为数据分析与挖掘,聚焦用户个性化行为模式的识别;通过分析用户历史交互与偏好,构建用户长期记忆模块,为AI Agent的个性化响应与功能决策提供数据支持; - 负责构建NLP、智能对话、问答等AI功能模块的数据指标体系,设计并研发关键评估指标,实现对AI产品表现的系统化监测与问题定位; - 基于用户与AI系统的交互数据,开展深入的数据挖掘与行为分析,探索用户使用路径、意图分布及体验瓶颈,推动语音产品体验持续优化; - 沉淀分析思路与数据方法,协同产品、研发等多团队,推动数据结论转化为AI功能迭代与产品决策。 职位要求 - 统招本科及以上学历,数学、统计学、计算机、人工智能等相关专业背景;- 精通SQL,熟悉Hive/Spark/ClickHouse等平台的数据开发与性能优化;熟练使用Python进行数据处理与分析,具备UDF、MapReduce等基础开发能力;- 具备扎实的数据分析与挖掘能力,逻辑清晰,能够独立完成从数据提取到业务洞察的全流程工作;- 具备指标体系建设、AB实验、用户画像等相关项目经验者优先;- 有AI产品相关数据分析经验者优先,熟悉智能语音、对话系统、NLP等相关领域者优先;对AI产品逻辑有理解,具备将数据洞察转化为产品改进的能力。 投递...

Premium Full-time
NIO  7 days ago
Xiaomi jobs

高级大数据研发工程师 北京 社招 全职 职位 ID:A94598 职位描述 1、负责小爱内容资源数据流及数据服务建设;2、负责小爱内容数据、搜索推荐服务架构优化;3、负责小爱用户画像、LLM通用知识库建设。 职位要求 1、熟悉大数据相关技术:Spark/Flink/Hadoop/HBase/Hive/Iceberg等;2、熟练使用Java、Scala、Python语言中的一种或者多种,熟悉java常见数据结构、多线程并发、JVM等;3、熟悉常用基础组件:Mq/Redis/Es等;具备数据库系统理论知识,熟悉Mysql/Tidb等,精通SQL;4、有过分布式、高并发业务系统搭建经验优先;5、熟悉大模型(LLM)技术,对向量数据库、RAG等有过深入调研优先;6、责任心强,具有较强的学习、沟通和问题解决能力。 投递...

Premium Full-time
Xiaomi  5 days ago
Xiaomi jobs

高级算法工程师 北京 社招 全职 职位 ID:A229937 职位描述 1. 负责排线、道口均衡、配载均衡等模型的开发与优化工作,通过先进的算法设计,解决多供应商、多工厂入厂运输过程中的复杂问题,提高运输效率,降低运输成本。2. 针对场内排产、排程、VDC路径规划等场景,开发高效的算法模型,确保工厂内部物流运作的顺畅和高效,满足生产计划和调度的要求。3. 负责库存优化算法的开发与实施,通过数据分析和建模,优化库存水平,降低库存成本,同时确保供应链的稳定性和响应能力。4. 与供应链管理、物流运营、生产计划等部门紧密合作,深入了解业务需求,确保算法模型能够有效支持业务目标的实现。5. 跟踪国内外供应链物流领域的最新算法研究成果和技术动态,结合公司业务需求,探索新的算法应用方向和技术创新点。 职位要求 1. 计算机、数学、统计学或人工智能等相关专业硕士学历以上;博士优先。有工厂域排产排程经验者优先。2. 熟练掌握运筹学、数学建模、优化算法等基础知识,具备扎实的数学功底和逻辑思维能力。3. 精通Python、Java等编程语言,熟悉常用数据结构和算法。4. 熟悉机器学习、深度学习、运筹优化、统计学等算法,了解大模型相关理论,有大模型部署、微调经验,熟悉Qwen、ChatGPT、InternVL等大模型。5. 熟悉大模型(如 LLM)的微调技术(如 LoRA)和部署流程,具备 Prompt 调优的经验,能够根据业务需求设计和优化 Prompt,提升模型的性能和输出质量。6. 熟悉数据挖掘和大数据处理工具(如Hadoop、Hive、Spark),熟练使用算法框架(如TensorFlow、PyTorch)和优化工具(如Gurobi、Ortools)。7. 具备在复杂业务场景下独立开展算法项目的能力,能够从问题定义、数据收集与分析、模型构建与优化到实际部署的全流程进行有效推进。 投递...

Premium Full-time
Xiaomi  5 days ago
Xiaomi jobs

支付风控策略师 北京 社招 全职 职位 ID:A227973 职位描述 1. 负责金融相关业务反欺诈工作,识别并制定支付、营销、保险等反欺诈、反洗钱等风险识别和策略制定并落地实施;2. 深入分析各类数据,搭建风控特征、标签、参数管理体系,维护和完善风险监控体系,及时发现潜在风险3. 与各业务团队紧密合作,主导推动风险需求落地,保障业务良性发展4. 及时分析客户投诉,根据客户反馈抽取可疑交易特征,完成策略迭代和优化 职位要求 1. 本科学历及以上,有责任心、具备良好的跨部门沟通能力及良好的责任心;2. 熟练使用SQL/Hive/Spark等数据统计工具,熟练掌握Python/R等常用语言;3. 三年以上反欺诈工作经验,有过监管对接工作经验优先考虑。 投递...

Premium Full-time
Xiaomi  5 days ago
Z.ai jobs

大模型数据处理工程师 北京 全职 互联网 / 电子 / 网游 职位描述 【岗位职责】1. 执行大规模训练数据的清洗与预处理工作;2. 开发和维护数据过滤规则体系,设计基于规则的过滤器,开发启发式算法,检测数据异常和质量问题;3. 指导数据标注团队,提供明确的指导和培训;4. 实施数据正确性校验与质量保证,建立数据质量指标和评估机制。 职位要求 【任职要求】1. 统招硕士及以上学历,计算机科学、数据科学或相关专业;2. 一年以上数据处理、数据清洗或数据工程相关经验;3. 精通Python和数据处理库(pandas,numpy等),熟悉大规模数据处理框架(Spark, Dask等),具备设计和实现数据质量控制流程的经验;4. 具备良好的问题解决能力和注重细节的工作态度。【加分项】1. 大语言模型或AI系统数据准备的实际经验2. 具备数据可视化和探索性数据分析能力3. 熟悉CommonCrawl、C4等大规模数据集的处理经验4. 参与过开源大模型数据处理项目5. 有多模态数据处理经验 投递...

Premium Full-time
Z.ai  3 days ago
Z.ai jobs

大模型数据处理工程师 北京 全职 互联网 / 电子 / 网游 职位描述 1.执行大规模训练数据的清洗与预处理工作;2.开发和维护数据过滤规则体系,设计基于规则的过滤器,开发启发式算法,检测数据异常和质量问题;3.指导数据标注团队,提供明确的指导和培训;4.实施数据正确性校验与质量保证,建立数据质量指标和评估机制。 职位要求 1.统招硕士及以上学历,计算机科学、数据科学或相关专业;2.一年以上数据处理、数据清洗或数据工程相关经验;3.精通Python和数据处理库(pandas,numpy等),熟悉大规模数据处理框架(Spark, Dask等),具备设计和实现数据质量控制流程的经验;4.具备良好的问题解决能力和注重细节的工作态度。【加分项】1.大语言模型或AI系统数据准备的实际经验2.具备数据可视化和探索性数据分析能力3.熟悉CommonCrawl、C4等大规模数据集的处理经验4.参与过开源大模型数据处理项目5.有多模态数据处理经验 投递...

Premium Full-time
Z.ai  3 days ago
Z.ai jobs

MaaS-数据开发工程师(风控方向) 北京 全职 互联网 / 电子 / 网游 职位描述 职位描述:1. 负责大模型业务风控数据体系建设,支撑反作弊、反欺诈攻防策略场景,构建高质量、可复用的数据资产,保障数据时效性与准确性。2. 参与实时数仓与特征工程架构设计,覆盖日志接入、非结构化数据处理、特征计算、策略引擎等关键链路,快速响应黑产变化。3. 使用Java/Python开发高效数据处理模块,优化流式计算资源利用率,推动数据治理与工程化实践(CI/CD、单元测试、性能调优)。4. 与算法、安全团队紧密协作,深入理解攻防逻辑,从数据视角主动发现风险并推动策略迭代。 职位要求 任职要求:1. 本科及以上学历,3年以上数据开发经验,有风控/反作弊/反欺诈领域实战经验,对异常数据敏感。2. 熟练掌握Java或Python,精通大数据技术栈,具备扎实的编码能力与工程能力(代码规范、测试、调优、CI/CD),能独立维护高质量数据处理模块。3. 精通离线&实时计算技术栈(Spark/Flink/Kafka),有海量数据实时处理及调优经验;熟悉OLAP引擎(ClickHouse/Doris),能进行数据建模与查询优化。4. 具备非结构化/半结构化数据解析经验(文本、JSON、XML、日志),熟练使用正则表达式、UDF等技术处理脏数据、乱码等问题。加分项:1. 有爬虫数据处理经验,熟悉爬虫数据的清洗、解析、结构化流程。2. 有AI风控实战经验:如用户行为序列建模、图算法、NLP文本风险识别、智能体辅助策略分析等。3. 了解图数据库(Neo4j/HugeGraph)或向量数据库(Milvus/FAISS)。4. 有从0到1搭建风控数据体系经验,具备架构思维和快速响应能力。 投递...

Premium Full-time
Z.ai  3 days ago

Subscribe for job alerts and resources to make your job search easier!

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

Receive the latest job openings for:

python spark jobs in beijing

Confirmation email sent to

Check your email and click on the link to start receiving your job alerts

All Filters Apply
Sort by
Employer/Recruiter