Yarn Jobs In China - 6 Job Positions Available

ABOUT QUINCE Founded in 2018, Quince was built to challenge the idea that nice things have to cost a lot. Our mission is simple: to make really high quality essentials for really low prices, produced fairly

容器研发工程师 北京 社招 全职 职位 ID：A105638 职位描述 - 统一调度：负责联邦集群与多集群调度等核心方案的设计与落地，解决跨机房、跨集群的资源统一调度、任务分发、数据流量问题，实现在离线资源合池和应用多机房部署；- 容器化：推动各场景容器化，包括在线服务、大数据离线任务、中间件等场景，提供技术方案和问题解决支持；- 在离线混部：深入研究并落地在离线混部技术方案，通过作业调度、负载分级、资源隔离等技术提升集群资源利用率，平衡在线服务稳定性与离线任务效率；- 调度器优化：负责调度相关组件的开发和优化，包括负载感知、重调度、弹性伸缩、资源画像的实现与迭代，以提升集群资源利用率与业务稳定性；- 资源池管理：设计并落地多层级、多维度的资源池管理体系，实现资源的弹性供给、成本优化与可视化； 职位要求 - 计算机相关专业，本科以上学历，有 5 年以上容器研发经验；- 熟悉 Kubernetes 核心组件的原理、熟悉相关源码，具备调度器相关模块的开发经验；- 熟悉容器技术栈（如 Docker、Containerd），熟悉 Linux、Cgroup、Namespace；- 有大数据等离线业务（Hadoop、Spark、Flink、Ray、Yarn 等）工作经验者优先；- 熟悉联邦集群、多集群调度项目（如 Karmada、OCM、KubeAdmiral 等）者优先；- 熟悉业界在离线混部、调度项目（如 Koordinator、Kueue、Volcano、YuniKorn 等）者优先； 投递...

大数据运维工程师 上海 全职 互联网 / 电子 / 网游 职位描述 岗位职责：1. 负责大数据集群的搭建、升级和数据迁移，保证集群环境的稳定运行；2. 负责大数据组件的参数调优，根据业务和数据量适时地调整组件参数；3. 编写大数据集群的监控脚本，监控包含服务器的运行状态和异常，对突发事件产生应急响应。任职要求：1. 本科及以上学历，计算机相关专业，2年及以上大数据运维经验；2. 熟悉Hadoop生态架构和组件，理解各常用组件（Hadoop、Kafka、Hive等）的底层原理；3. 熟悉阿里云，AWS等云产品者优先考虑4. 了解常用的大数据作业开发，例如Shell&Python脚本、Hql脚本、Spark&Flink消费作业等。对作业的提交方式和yarn机制有较深的认识；5. 熟悉Linux，需要掌握Python脚本的开发；6. 了解关系型数据库（Oracle、Mysql）者优先；7. 熟悉MPP数据库——Clickhouse、Doris等；8. 具备较高的trouble shooting能力，有大规模集群维护经验的优先；9. 热爱游戏行业，有自驱力。我们秉承“BE WILD. BE FREE.”的品牌主张，坚持始终创业、简单务实、开放包容、勇于担当的文化理念。在这里——【态度】我们讲求自驱，不设边界，没有人能定义你的舞台和天花板；【氛围】内部真·扁平，新人的意见、不同的观点都有可能成为波克前行的关键；【成长】入职即有指导人和成长伙伴双cover，内部分享+外聘大神助你突破自我；【生活】一日三餐下午茶，房补公寓任你选，节日社团境外游.让游戏不只是工作，更是你的生活！ 投递...

AI算力平台后端开发实习生 上海 实习 职位描述 负责公司AI算力平台的业务后端开发，构建高性能、可扩展的AI任务调度与资源管理服务，支撑大规模模型训练与推理业务的稳定运行。工作职责：1. AI算力平台后端研发：基于Java技术栈，设计并实现面向AI算力资源的管理、调度、监控等核心业务系统，打造高可用、高吞吐的后端服务。2. 任务调度引擎开发：构建统一的AI任务调度引擎，支持训练、推理、数据处理等多种作业类型的生命周期管理，实现资源配额、优先级、排队等调度策略。3. 算力资源管理：设计与开发异构算力（GPU、NPU、CPU）资源的抽象、分配、回收及计量系统，支持多租户场景下的资源隔离与动态调配。4. 推理服务集成与优化：协同底层引擎团队，将vLLM、TensorRT-LLM等推理框架以标准化的服务形式接入平台，实现推理服务的快速部署、弹性伸缩与性能调优。5. 多集群调度能力：构建跨数据中心、跨云的多集群统一调度后端，支持全局算力编排与联邦资源视图。6. 平台可观测性：设计并实现平台的监控、告警、审计与计量计费系统，保障平台稳定运营。7. 架构演进：结合业务发展，持续优化后端架构，解决高并发、大数据量下的性能瓶颈，推动平台技术栈演进。 职位要求 1. 基础能力：计算机、人工智能、数学、通信等相关专业，本科及以上学历，有后端开发经验。2. Java功底：扎实的Java编程能力，熟悉JVM原理、并发编程、网络编程、内存模型，有良好的数据结构和算法基础。3. 主流框架：熟练掌握Spring Boot / Spring Cloud框架，熟悉微服务架构设计，有实际的项目经验。4. 数据库与中间件：熟悉MySQL、PostgreSQL等关系型数据库，有Redis、Kafka、RabbitMQ等中间件的使用经验，理解分布式系统的基本原理。5. 分布式系统经验：有分布式系统设计或开发经验，理解CAP、一致性、负载均衡等概念，有高并发系统的实际调优经验。6. 调度系统理解：了解至少一种调度系统（如Kubernetes、Volcano、YARN、Mesos或自研调度器）的基本原理，对任务排队、资源分配、优先级抢占等机制有认知。7. AI领域知识：对AI训练、推理的基本流程有认知，了解GPU等异构计算资源的特性，能与算法、运维团队高效协作。8. 学习与沟通：有较强的学习能力和自驱力，善于跨团队沟通协作，能推动问题解决。加分项- 有Kubernetes或Volcano的二次开发或深度使用经验，熟悉Operator/Controller编程模式。- 有AI平台或大数据平台（如Kubeflow、MLflow、Airflow）的后端开发经验。- 有vLLM、SGLang、TensorRT-LLM等推理框架的使用或集成经验。- 有资源调度算法或队列管理（如多级队列、Fair Share、DRF等）的实践经验。- 有多租户计费、配额管理、审计系统的开发经验。 投递...

数据研发工程师 北京 全职 研发 - 大数据 职位描述 1、负责掌阅集团企业级数据建设(涵盖流量、内容、用户、商业化等业务方向)，提供通用、稳定、丰富、高效的公共数据能力，提升数据支持业务的效率，探索数据增量价值；2、面向流量、内容、用户、商业化等业务方向，建设专题数据，提供丰富易用的数据服务，直接支持公司业务决策分析，赋能业务；3、建设企业级数据治理和管理体系，结合业务+元数据+技术，推进资源成本的优化，提高数据服务质量，保障数据产出的稳定性和准确性；4、参与公司级别商业化相关系统数据设计、研发以及保障。 职位要求 1、精通分布式文件系统hdfs常用命令以及底层原理。2、精通yarn，datax，sqoop，hbase 等hadoop生态常用工具3、精通数仓常用计算引擎，hive/spark/kylin/impala/starrocks 至少两种以上。4、精通常用数据库3种以上。mysql/redis/hbase/es5、对数仓之上的衍生产品(例：投放,BI,DMP,数据分析平台,监控平台,调度平台等)有丰富经验，有过大厂经验最好,。6、熟悉linux常用命令，熟悉至少一种脚本语言。shell/python7、熟悉Kafka、Flink、Scala、Java技术栈， 熟练运用流计算窗口、状态、算子、并发、调优技术8、对自己使用过的组件看过源码者优先考虑。强加分项:1.有明确的广告投放系统经验，对广告投放术语、指标例如 cpm/cpc/cps/wau/uv/pv/ltv/apru/roi等等有相对深刻得了理解，并参与实践2.对计算广告服务基本流程架构（dsp/adx/dmp/ssp等等）、核心概念例如RTA/RTB等等有相对深刻的了解甚至实际参与研发3.对于用户画像-用户标签-用户分群的数据体系建设有实践经验 投递...