知识平台算法专家(RAG & 知识图谱方向) 上海 社招 全职 数字技术 本科及以上 5-7 年 职位描述 岗位核心使命深度融合 LLM 与知识图谱技术,构建企业级 GraphRAG 架构。通过本体建模与高精度检索技术,解决大模型在复杂专业领域下的幻觉问题,打造工业级的知识服务引擎。主要职责RAG 架构优化:负责企业级 RAG(检索增强生成)系统的全链路研发。针对长文本及复杂知识,优化文档切片 (Chunking) 策略、多路召回 (Retrieval) 及 重排序 (Reranking) 算法,提升问答的准确性与归因能力。知识中枢建设:负责领域本体论 (Ontology) 建模,设计高扩展性的 Schema;利用 LLM 实现自动化知识抽取(实体、属性、三元组),构建高质量结构化知识库。底层存储与检索:负责基于 Milvus/Zilliz 的向量数据库与 Elasticsearch 的全文检索集成,设计向量-标量混合检索方案,优化海量数据的检索延迟与相关性。推理与应用落地:探索图增强检索(GraphRAG)、多步推理链(CoT)在知识平台中的应用,负责从非结构化数据到结构化知识转化的全流程算法迭代。 职位要求 1.
AI数据研发工程师 深圳 全职 互联网 / 电子 / 网游 职位描述 1、负责用户context信息采集体系的搭建、优化与落地,设计多源数据采集方案(涵盖用户行为、设备信息、交互轨迹等),对接前后端业务模块,制定采集标准,保障采集数据的完整性、准确性和实时性。2、主导数据平台全流程搭建与运维,负责音频、视频等全天候数据的接收、解析、转码、存储及流转管理,搭建高可用、高可靠的数据链路,处理海量音视频及3、结构化数据,保障平台7×24小时稳定运行,支撑业务正常运转及数据供给。优化数据处理管道,针对音视频数据体积大、处理效率低等特性,制定优化方案,提升数据处理时效与存储利用率,输出标准化、高质量的数据,为大模型训练提供合规、可用的训练语料(音视频、用户行为相关数据等)。4、负责数据平台监控体系搭建与维护,配置关键指标(数据采集量、处理延迟、存储占用、链路稳定性)监控告警,快速响应并排查数据丢失、传输异常、系统卡顿等故障,保障数据供给不中断。5、协同业务团队、算法团队,梳理业务数据需求及大模型训练数据需求,优化数据筛选、脱敏、标注流程,输出贴合需求的数据解决方案,支撑业务决策与大模型迭代训练。6、负责数据平台架构迭代优化,引入合适的技术框架,提升平台扩展性、可维护性,适配业务增长及大模型训练的数据量级提升需求,保障数据安全合规。 职位要求 1、学历要求:本科及以上学历,计算机、大数据、软件工程等相关专业,1-3年及以上数据平台相关工作经验。2、技术能力:精通Flume、Logstash、Kafka等数据采集工具,熟练掌握Hadoop、Spark、Flink等大数据框架,具备音视频数据处理、用户context信息采集相关经验。3、运维能力:熟悉Docker、K8s容器化部署,具备全天候数据平台运维、性能优化及故障排查能力,能快速响应线上问题,保障平台高可用。4、存储与安全:熟悉HDFS、HBase、MySQL、MongoDB等存储方案,掌握数据脱敏、备份与恢复方法,了解数据安全合规相关要求,能保障数据安全。语言与工具:熟练使用Java、Python、Scala其中一种及以上编程语言,掌握Shell脚本编写,熟悉Prometheus、Grafana等监控工具者优先。5、业务理解:具备良好的业务敏感度,能快速理解数据平台对业务支撑、大模型训练的核心价值,具备较强的跨团队沟通协作能力和问题解决能力。6、加分项:有大模型训练数据供给、音视频全天候数据平台搭建相关经验者优先;熟悉数据分层设计、数据治理相关工作者优先。 投递...
Overview The Asia Data Office is looking for an experienced Senior Full-stack Engineer to support regional data and AI initiatives. This role is ideal for a hands-on engineer who can design and build robust data pipelines,
Job Summary: This is the contact point for the local team to work closely with the headquarter teams. We are seeking an experienced Senior Data Engineer to design, implement, and maintain our data infrastructure and pipelines.
TapTap 大数据开发实习生(上海) 上海 实习 互联网 / 电子 / 网游 技术大类 TapTap 职位描述 1、参与 AI 数据研发能力建设,探索自然语言数据分析、Text-to-SQL、AI 辅助数据校验、智能报表生成等方向;2、参与数据 Agent / AI 数据工具建设,将数据表、指标口径、元数据、知识库等能力封装为可被 AI 调用的工具,提升数据分析和研发效率;3、面向商店、内容、开发者运营等业务方向,参与专题数据建设、指标开发、看板底表和数据分析支持,帮助业务理解用户行为、内容表现和产品效果;4、参与离线 / 实时数据研发,包括数据清洗、建模、任务开发、数据校验和链路监控,保障数据产出的准确性和稳定性;5、参与 TapTap 基础数据建设,沉淀公共数据表、指标口径、数据质量校验等通用数据能力,提升业务分析和产品决策效率。 职位要求 1、研究生及以上学历,计算机、软件工程、数据科学、统计学等相关专业优先;2027 届、2028 届在校生,能连续实习 6 个月及以上,每周到岗 4-5 天;2、对 AI 与数据工程结合有兴趣,愿意参与
车载测试(仪表、T-box、导航、ADAS) 保定 全职 研发 - 测试 职位 ID:A173586 职位描述 职责描述:对自动驾驶数据闭环系统的数据测试,包括1. 基于自动驾驶大数据处理平台(例如Hadoop/Spark),利用数据挖掘、机器学习等相关算法,解决自动驾驶业务需求,为自动驾驶评测、功能迭代,运营决策提供测试支持2. 用java/python/shell/javascript其中至少一种编程语言,能够开发自动化测试脚本完成数据验证3. 负责自动驾驶领域的数据测试,从场景,评价,用户,运营等多个维度挖掘数据价值,发现数据和业务背后规律,应用于产品研发、用户运营、商业等各种领域4.有hadoop, hive,Zookeeper,Hbase,Spark,ElastivSearch,Kafka,Flink,flume等分布式开源软件测试和应用经验。掌握基于分布式系统的ETL,数据仓库,BI报表的测试流程及方法。 职位要求 任职要求:1、具备数据一致性、完整性、准确性、安全性测试设计及实施经验2、具备处理大量数据和复杂算法的测试技巧,包括不限于能编写针对数据化产品类的自动化框架和脚本3、具备良好的数据分析和问题解决能力,能够快速定位问题,提出解决方案,同时具备良好的沟通能力,能有效地与开发团队、产品团队和其他测试团队合作4. 具备扎实的测试理知识,有测试需求分析经验能独立设计数据相关和编写测试用例5.熟悉Mysql/mongoDB,熟练掌握SaL,具备较强的思维逻辑能力,可完成复杂查询。6.有hadoop, hive,Zookeeper,Hbase,Spark,ElastivSearch,Kafka,Flink,flume等分布式开源软件测试和应用经验。掌握基于分布式系统的ETL,数据仓库,BI报表的测试流程及方法。7.熟练使用java/python/shell/javascript其中至少一种编程语言,能够开发自动化测试脚本完成数据验证8、3年以上相关工作经验,有汽车行业相关云平台、数据闭环平台、互联网或智驾相关领域经验者优先;9、面试优秀者,学历可放宽至专科 投递...
高级数据产品经理(中台方向) 上海 互联网 / 电子 / 网游 产品岗位 职位描述 1.中台数据产品规划与建设:负责公司级数据中台核心产品的规划、设计与落地,构建标准化、可复用的数据能力,赋能业务线高效决策与增长。2.实验平台(A/B-Test)建设:主导A/B测试平台的产品设计,完善流量分配、指标监控、显著性检验及自动化推全等核心功能,提升研发与运营实验效率。3.特征平台(Feature Store)建设:规划并落地机器学习特征平台,打通数据研发与算法模型链路,实现特征的标准化定义、在线/离线一致性保障及高效复用。4.异动归因与诊断产品:设计并迭代数据异动归因分析工具,结合统计学与业务逻辑,实现指标波动的自动化下钻与根因定位,降低数据分析师的排查成本。5.用户画像与标签体系:主导用户画像平台的产品架构,整合多源数据构建多维度的用户标签体系,支持精准营销、个性化推荐等上层业务场景。6.跨部门协同与推进:作为业务、数据分析师与算法工程师之间的桥梁,深入理解业务痛点,将复杂的数科需求转化为标准化的产品解决方案,并推动项目高质量交付。 职位要求 1.本科及以上学历,统计学、数学、计算机、数据科学(Data Science)等相关专业优先。2.3-5年数据产品或数据分析/挖掘经验,有中台数据产品、A/B测试平台、特征平台或BI工具建设经验者优先。3.具备扎实的数据分析或数据科学基础,熟练掌握SQL,熟悉Python/R等数据处理工具;了解常用的机器学习算法及统计学检验原理(如假设检验、因果推断等)。4.具备优秀的产品抽象与架构能力,能够从复杂的业务场景中提炼出通用的数据产品模型;熟练使用Axure/Figma等原型工具,能输出高质量的产品文档。5.对数据驱动业务有深刻理解,具备极强的逻辑思维能力、跨部门沟通协调能力及项目推动能力,能在多方诉求中找到最优解。【加分项】1.有大型互联网公司数据中台、算法平台或增长平台相关经验。2.曾独立负责过A/B Test平台或Feature Store的从0到1建设。3.有实际的算法模型落地经验(如推荐、风控、预测等),深刻理解算法工程化痛点。4.熟悉大数据技术栈(如Hadoop/Spark/Flink/ClickHouse等)的基本原理与边界。 投递...
【27届校招】计算平台软件工程师 上海、广州 正式 研发 - 算法 通用智能板块 职位描述 1、参与自动驾驶海量数据的采集、管理、处理与高效调度,设计与开发自动驾驶全链路数据平台,包括但不限于数据湖、数据仓库、分布式存储、流批一体计算与智能数据标注、数据治理等;2、研发大规模分布式计算与训练平台,基于Spark、Flink、Ray、PyTorch等技术实现自动驾驶大模型的数据清洗、预处理、并行训练与推理,支持多GPU/多集群高性能任务编排与资源调度;3、优化存储与检索架构,探索和实现包括OSS、CPFS、Iceberg、Delta Lake、Hudi、StarRocks、ClickHouse、ElasticSearch、Milvus等新一代高性能存储与检索方案,提升数据读写、索引、管理效率,赋能AI训练和推理;4、参与团队架构设计与技术攻关,跟进学术前沿与业界动态,解决自动驾驶场景下数据一致性、扩展性、高可用、智能调度等核心难题;5、推进工程实践落地与持续优化,深度参与端到端系统开发、自动化测试、上线发布与持续运维,推动数据与AI平台的稳定迭代和性能进化。 职位要求 1、教育背景:计算机、软件工程、人工智能、数据科学等相关专业,本科及以上学历,硕博优先;2、理论基础扎实: 精通分布式系统原理、并行计算、存储系统、数据库原理、数据湖/数据仓库理论、大规模机器学习等学科知识,有相关顶会/顶刊论文经历者优先;3、技术能力突出:(1)熟练掌握至少一种主流分布式计算框架(如Spark、Flink、Ray等)和一种深度学习框架(如PyTorch、TensorFlow等);(2)具备大数据存储与处理系统(如OSS、CPFS、Iceberg、Delta Lake、Hudi、StarRocks、ClickHouse、ElasticSearch、Milvus等)实操经验;(3)具备高性能数据检索、索引优化、海量数据管理等工程经验;4、编程与工程能力强(1)熟练掌握Python/Java/Scala/C++/Rust等主流开发语言中的至少一种,具备良好的工程实践和代码规范;(2)有高并发、大规模分布式系统、流式/批式混合计算平台相关项目经验者优先;5、创新与解决问题能力:具备独立分析复杂系统、定位瓶颈、提出创新性解决方案的能力,对技术钻研有热情,善于跨界学习;6、沟通协作与主动学习:良好的团队协作能力、沟通表达能力及自驱力,乐于分享、敢于挑战难题;7、加分项:(1) 在数据库、分布式系统、云原生计算、向量数据库、机器学习系统等领域有顶会(SIGMOD、VLDB、ICDE、NeurIPS、ICML等)论文、竞赛获奖或开源项目贡献;(2)有阿里云、腾讯云、AWS、GCP等云平台大数据相关实习、项目或竞赛经历;(3) 具备自动驾驶、机器人、智能感知领域大规模数据处理或AI应用落地经验;(4)英语或技术写作能力优秀,有技术博客、专利、文档经验。 投递...
资深信息安全工程师 上海 社招 全职 数字技术 本科及以上 5-7 年 职位描述 1. AI原生底座纵深防御体系构建:参与AI原生基础设施底座安全能力的规划设计,覆盖AI算力基础设施、模型资产、API接口及运行时环境。融合零信任访问控制、模型行为监控与对抗攻击检测等关键技术,构建覆盖AI全生命周期的主动防御体系,并推动在云原生环境中的标准化落地。2. 端到端智能化安全能力建设:应用AI技术能力,设计并实施端到端的威胁检测、行为分析及风险预测方案,聚焦终端、Web应用及智能体交互等关键场景,构建具备可扩展性与可解释性的智能安全防御框架。3. 核心攻击面防护策略优化:针对终端、Web应用等关键攻击面,持续优化安全防护策略,结合实战攻防经验,提出前瞻性建设建议,全面提升系统整体安全水位。4. 安全事件响应与专项活动支撑:支撑重大安全事件及专项合规活动的应急响应、攻击溯源与根因分析,协调内外部资源,高效处置终端、应用及AI基础设施等场景下的安全威胁。推动从检测、响应到整改加固的全流程闭环管理,持续提升企业实战防御能力。 职位要求 1. 专业与经验:信息安全、计算机或相关专业本科及以上学历,具备3年以上大型互联网企业安全运营、攻防对抗或终端安全相关经验。2. 核心技术能力:在AI原生、威胁检测、终端安全、Web应用安全至少两个领域有扎实的实践经验,熟悉常见攻防技术和漏洞利用手段。熟悉常见AI应用的安全架构,参与过重要业务的安全评审,可提出适用的安全方案和整改建议。3. 合规支持能力:具备优秀的安全监管活动响应和支撑能力,能够高效协同内外部团队,确保合规要求落地。4. 个人素质:具备出色的跨团队协作、推动力、责任心和在压力环境下解决问题的能力和自我驱动力,沟通表达逻辑清晰。5. 安全技术深度:精通终端安全、Web/移动端安全漏洞原理,具备威胁评估和安全架构评审能力,能对重要业务提出前瞻性安全方案。6. AI安全应用落地:具备一定的AI应用落地能力,能够探索并利用大模型等技术赋能安全大数据分析与风险监控。7 数据处理能力:熟悉Flink、ES、Clickhouse等至少一种大数据技术,具备安全日志分析、威胁狩猎等相关实践经验。8. 开发与自动化:具备良好的Python/Go/Java等编程能力,能进行工具开发或代码审计,有安全自动化项目经验者优先。9. 专业认证:持有CISSP、CISA、CISP等网络安全认证者优先。10. 前沿技术嗅觉:熟悉大模型基本原理,能够探索其在安全风险预测与防范方面的应用潜力。 投递...
数据开发工程师 12-20KCNY/月 深圳 正式 互联网 / 电子 / 网游 职位描述 为什么这个职位与众不同? 传统的初级数据工程师,往往要在沉闷的数仓里写 3-5 年枯燥的 SQL 和 ETL 脚本才能出头 。但在这里,我们希望你作为真正的 AI 原住民,丢弃“人工路径依赖” ,熟练挥舞 Claude Code、Cursor、GitHub Copilot 等 AI Coding 魔法棒,把传统数据开发的效率直接拉升 3-5 倍 。在这里,你是没有历史包袱的 AI 生产力放大器,也将是我们未来数据工程专家的王牌蓄水池 。 你将要“折腾”什么?(岗位职责)1.
SummaryApple is where individual imaginations gather together, committing to the values that lead to great work! Every new product we build, service we create, or Apple Store experience we deliver is the result of us making
2027届实习-算法数据开发工程师 上海 实习 互联网 / 电子 / 网游 技术 职位描述 1、参与游戏业务离线/实时数仓的日常开发,协助完成简单的 ETL 逻辑编写及报表开发。2、负责日常数据链路的监控与异常排查,学习并实践数据准确性校验逻辑。3、负责数据字典的梳理及技术文档的编写,确保业务逻辑的可追溯性。 职位要求 学历背景:2026 届或 2027 届在校生,统招本科及以上学历,计算机、数学、软件工程等相关专业。编程基础:熟练编写 SQL(理解常见的 Join 原理、聚合函数、开窗函数),对底层逻辑有好奇心,有JAVA/PYTHON基础加分。算法功底:具备优秀的数据结构与算法能力,能够通过代码解决复杂的逻辑问题技术热情:熟悉大数据基本概念(如:知道 Hadoop/Spark/Flink 是做什么的),有分布式系统、数据库原理等相关课程背景。 职位信息 团队介绍: 我们在做什么?我们是业务全球化征程的“开路先锋”与“守护者”。我们的战场不局限于单一机房或单一云端,而是横跨全球多个Region的复杂基础设施。我们需要在维护传统稳态业务的同时推动云原生技术的落地。你将面对的是一个融合了物理机、虚拟机与Kubernetes容器集群的混合架构庞然大物,通过精细化的运维手段,确保全球玩家都能享受到极致流畅的服务体验。你会遇到的挑战驾驭全球多云环境:你需要同时操作 AWS、GCP、阿里云、腾讯云 等多家云厂商的控制台与API,解决跨国网络延迟、数据合规与资源调度难题;混合架构的统一治理:你的纳管对象既有前沿的 CNCF 云原生组件,也有基于虚拟机/物理机的传统应用。如何在两套体系间实现统一的监控、部署与治理,是你的核心课题;构建全球交付流水线:利用 Jenkins / GitLab-Runner 打造适应全球发布的CI/CD系统,让代码能够安全、快速地分发到世界各地的每一个节点;复杂场景的“神探”:面对跨时区、跨地域、跨架构的线上疑难杂症(网络抖动、应用卡顿、资源争抢),进行全链路的排查与恢复。你能获得的宏大的技术视野:很少有校招岗位能让你直接接触全球级别的架构设计与多云异构的管理经验;全栈运维能力:你将同时掌握“传统运维的深厚内功”(Linux底层、网络协议)与“云原生运维的各种招式”(K8s、ServiceMesh);成就感:亲手敲下的命令,将影响地球另一端成千上万用户的实时体验。为了匹配业务的发展,我们在寻找更多志同道合的伙伴加入我们充满活力的团队,一起迎接市场日益激烈的挑战,共同打造更多的爆款! 投递...
2027届实习-AI算法工程师 上海 实习 互联网 / 电子 / 网游 研发 职位描述 AI算法工程师职位描述1. 专注游戏场景下的算法研发工作,深耕用户增长、因果推断、归因分析、个性化体验流设计及商业化活动/道具智能推荐等方向,驱动产品核心指标提升;2. 基于业务数据洞察,结合游戏生态特性定义可量化的算法优化目标,设计高落地性方案并推动实施,为项目创造显著商业价值;3. 持续关注AI领域前沿技术动态,探索其在游戏场景的创新应用,推动技术成果转化与工程化落地;4. 深度联动产品、运营团队,通过玩家行为建模与多维度分析,制定精细化算法策略,构建快速迭代机制以持续优化效果。 职位要求 任职要求1. 计算机、数学、统计学等相关专业本科及以上学历,具备独立负责项目的能力;2. 精通Python编程,具备扎实的代码功底与工程实现能力,掌握C/C++或Java者优先;3. 对游戏行业有浓厚兴趣,具备敏锐的业务洞察力,拥有游戏算法成功落地经验者优先;4. 在机器学习、深度学习、数据挖掘、自然语言处理或多模态技术等领域有深入研究;5. 熟悉分布式数据处理框架,对流式计算有实践经验,熟练运用Hadoop/Spark/Flink等大数据工具进行数据建模与分析优先考虑。 职位信息 团队介绍: 波克城市成立于2010年,旗下拥有《捕鱼达人》《爆炒江湖》《Tile Master》等众多精品老牌,覆盖休闲竞技、收集养成、模拟经营、策略对战等多个赛道。目前,我们的全球累计注册用户超5亿,全球总下载次数超15亿,连续7年入选中国互联网百强。近年我们也在小游戏赛道积极探索持续发力,先后推出了《跃动小子》《灵画师》《一路狂飙》等爆款佳作!为了匹配业务的发展,我们在寻找更多志同道合的伙伴加入我们充满活力的团队,一起迎接市场日益激烈的挑战,共同打造更多的爆款! 投递...
优才-云端计算引擎工程师-觅蜂子公司 上海 校招 正式 技术族 - 算法类 职位 ID:A224028 职位描述 1.数据计算框架设计:负责自动驾驶/具身智能云端数据计算框架的设计与开发,构建高吞吐、低延迟的分布式数据计算架构,支撑海量多模态数据(传感器、图像、点云、轨迹等)的批处理与流式计算;2.并行计算优化:深入优化数据并行计算框架,提升大规模数据集的分布式处理效率,包括任务拆分、资源调度、计算图优化等核心能力建设;3.Pipeline工程化:设计并维护端到端云端数据处理Pipeline,打通数据从采集入云、预处理、质检到模型训练的全链路计算流程,降低数据流转时延;4.基础设施演进:基于Kubernetes、Docker等云原生技术,构建弹性可扩展的云端计算集群,推进数据计算基础设施的平台化与自动化。 职位要求 1.硕士及以上学历,计算机、软件工程、人工智能等相关专业。2.硬性背景:具有自动驾驶或具身智能(人形机器人等)领域的云端数据平台/数据计算框架研发经验;3.熟悉Python、C++中至少一门语言,熟悉Go者优先;具备扎实的分布式系统设计能力,能独立开发高性能数据计算服务;4.深入熟悉 Spark、Flink、Ray等至少一种分布式计算框架;熟悉Kubernetes、Docker等云原生技术栈,有云端大规模数据处理实战经验;5.熟悉Airflow、DolphinScheduler、Argo等工作流调度框架,具备复杂数据Pipeline编排能力;6.具备优秀的工程素养和问题解决能力,有良好的团队协作意识。加分项1.有从零搭建云端数据计算框架或分布式数据处理平台的完整经历;2.熟悉MLOps体系,有模型训练数据Pipeline优化经验;3.在开源计算框架社区有贡献;4.熟悉GPU集群调度与异构计算资源管理。 投递...
风控Java研发工程师 北京 全职 金融 职位描述 期待拥有开放心态、拥抱持续进化的你成为易宝的事业伙伴,共绘 “一群人的浪漫”。1、负责支付风控中台核心子系统的设计与开发,包括但不限于规则引擎、实时决策引擎、变量平台、名单管理系统、人工审核工作流等,支撑每秒万级的高并发实时风控请求。2、与风控策略团队紧密配合,将复杂的反欺诈、反洗钱、反盗刷业务逻辑转化为高效、可维护的技术实现,支持策略的快速上线与A/B测试。3、基于Flink/Spark等大数据技术建设实时特征计算平台,为风控模型与策略提供准实时的指标支持;参与数据清洗、标签体系建设。4、攻克支付场景下的业务技术难题,如防重放、幂等性设计、分布式事务,以及对突发流量(如大促场景) 的弹性伸缩与限流降级。 职位要求 1、本科及以上学历,计算机相关专业,3-5年Java开发经验,其中至少1年以上风控、金融、支付或安全领域研发经验;2、扎实的JAVA基础,熟悉JAVA核心原理,熟练掌握多线程开发,有JVM调优经验优先;3、熟悉分布式系统设计与开发,熟悉Spring等主流框架,熟悉Redis、ES、Sqoop、Kafka、Hive其中的一种或几种中间件4、理解支付/信贷业务中常见的风险类型(盗刷、套现、薅羊毛、商户二清等),了解基本的反欺诈规则(如设备指纹、IP画像、行为序列)。5、有对接三方风控产品经验(如Sift Science、Forter、同盾、邦盛)或自建规则引擎(Drools/EasyRule/Aviator)深度优化经验。 投递...
小米汽车-TSP基础平台开发工程师-智能网联 南京 社招 全职 职位 ID:A179282 职位描述 1. 负责智能网联TSP平台技术规划、技术选型;2. 负责智能网联TSP平台架构设计、开发;3. 负责智能网联TSP平台日常维护与优化工作,确保系统平台的稳定运行;4. 负责智能网联TSP平台业务监控,应急响应,运维工具化。 职位要求 1. 5年以上工作经验;2. 熟悉车联网TSP技术架构,具备车联网网关、数据转发路由、计算存储等开发经验;3. 熟悉Hadoop/Kafka/Spark/Hive/Flink/DataX的组件开发,掌握Spring,SpringBoot,SpringCloud框架,了解消息中间件;4. 熟练使用Git,Jenkins等版本管理与自动化部署工具;5. 熟悉云原生技术,熟悉Redis、Nginx、Docker等常用开源软件;6. 熟练掌握TCP、MQTT通讯开发技术,熟悉车联网808、1078、32960通信协议;7. 具备较强的学历能力、逻辑分析能力,问题排查能力;8. 做过车联网TSP平台。 投递...
容器研发工程师 北京 社招 全职 职位 ID:A105638 职位描述 - 统一调度:负责联邦集群与多集群调度等核心方案的设计与落地,解决跨机房、跨集群的资源统一调度、任务分发、数据流量问题,实现在离线资源合池和应用多机房部署;- 容器化:推动各场景容器化,包括在线服务、大数据离线任务、中间件等场景,提供技术方案和问题解决支持;- 在离线混部:深入研究并落地在离线混部技术方案,通过作业调度、负载分级、资源隔离等技术提升集群资源利用率,平衡在线服务稳定性与离线任务效率;- 调度器优化:负责调度相关组件的开发和优化,包括负载感知、重调度、弹性伸缩、资源画像的实现与迭代,以提升集群资源利用率与业务稳定性;- 资源池管理:设计并落地多层级、多维度的资源池管理体系,实现资源的弹性供给、成本优化与可视化; 职位要求 - 计算机相关专业,本科以上学历,有 5 年以上容器研发经验;- 熟悉 Kubernetes 核心组件的原理、熟悉相关源码,具备调度器相关模块的开发经验;- 熟悉容器技术栈(如 Docker、Containerd),熟悉 Linux、Cgroup、Namespace;- 有大数据等离线业务(Hadoop、Spark、Flink、Ray、Yarn 等)工作经验者优先;- 熟悉联邦集群、多集群调度项目(如 Karmada、OCM、KubeAdmiral 等)者优先;- 熟悉业界在离线混部、调度项目(如 Koordinator、Kueue、Volcano、YuniKorn 等)者优先; 投递...
云计算技术专家/高级工程师 北京 社招 全职 职位 ID:A154571 职位描述 1. 负责小米数据中台分布式计算与调度相关引擎的研发、维护工作;2. 业务价值导向,通过技术迭代支撑解决小米全业态的数据大规模计算难题3. 参与开源,提升小米在开源社区的影响力。 职位要求 1. 扎实的计算机专业基础,熟悉基本的算法和数据结构2. 具有良好的自我驱动和学习能力,责任心强,不断追求卓越3. 具有优秀的发现问题和解决问题能力,对解决有挑战的问题充满热情4. 具有优秀的沟通和协调能力,具有同理心,能够站在不同角度思考问题5. 熟悉 Hadoop/Spark/Flink/RSS/Iceberg/Paimon/DolphinScheduler/Gravitino 等相关系统优先,开源社区活跃贡献者优先 投递...
高级大数据研发工程师 北京 社招 全职 职位 ID:A94598 职位描述 1、负责小爱内容资源数据流及数据服务建设;2、负责小爱内容数据、搜索推荐服务架构优化;3、负责小爱用户画像、LLM通用知识库建设。 职位要求 1、熟悉大数据相关技术:Spark/Flink/Hadoop/HBase/Hive/Iceberg等;2、熟练使用Java、Scala、Python语言中的一种或者多种,熟悉java常见数据结构、多线程并发、JVM等;3、熟悉常用基础组件:Mq/Redis/Es等;具备数据库系统理论知识,熟悉Mysql/Tidb等,精通SQL;4、有过分布式、高并发业务系统搭建经验优先;5、熟悉大模型(LLM)技术,对向量数据库、RAG等有过深入调研优先;6、责任心强,具有较强的学习、沟通和问题解决能力。 投递...
高级大数据开发工程师 北京 社招 全职 职位 ID:A140743 职位描述 1、负责国际BI、零售通、米网相关数据相关数据应用、数仓底层开发和维护;2、理解和拆解数据产品需求,完成数据分析、数据建模以及编码工作;3、跨团队与服务端、前端、测试等完成需求沟通和协作,完成项目; 职位要求 1、有数据仓库研发经验,熟悉数据仓库、数据体系建设及优化,理解数据的价值;2、熟悉理解常用建模理论,可独立把控数仓的各层设计;3、掌握数据管理治理的相关理论,熟悉数据治理、数据标准、企业数据建模、元数据管理等方法论;4、熟悉大数据架构,具备实时或离线数据研发能力,熟悉hive,kafka,spark,flink、hbase等相关技术并有相关开发经验5、本科及以上学历,8年以上工作经验,有AI工作优先 投递...