Infra开发工程师 上海 全职 职位描述 - 负责公司级AI Infra平台建设,为智能驾驶场景提供数据闭环、算力平台、AIOps等基础能力支持。 - 负责数据闭环的构建,建立高效的数据流转设施,搭建稳定的数据闭环链路 - 负责AI平台的设计与研发,建设GPU及异构加速卡的资源池化、任务调度与虚拟化能力。 - 负责向量检索、图数据库等AI基础能力的构建与性能优化。 - 探索并落地面向智能汽车行业的前沿AI Infra技术演进方案。 职位要求 - 具有计算机、人工智能、软件工程、电子信息等相关学科本科/硕士学历。 - 具备以下一项或多项经验: 1. 具备数据闭环、数据链路的开发经验;2. 大规模分布式训练/推理系统、AI平台、资源调度系统、向量检索或图数据库的设计与研发经验;3. 熟悉Linux环境下的Python与C++语言,具备良好的工程与代码规范;4. 熟悉PyTorch/TensorFlow等深度学习框架,具备底层优化或二次开发经验; - 具有良好的工作态度、团队合作精神、主观能动性和跨团队沟通能力。符合以下条件者优先: - 熟悉LLM、图像、多模态或VLA/VLM等模型的训练与推理优化; - 具备自动驾驶、机器人或智能汽车相关领域软件系统开发经验; - 有大模型预训练、RL训练或高性能推理引擎(如vLLM、TensorRT-LLM)的实战经验; - 具备高性能网络、分布式存储或集群调度系统经验。 投递...
AI Infra 模型部署实习生 北京 实习 互联网 / 电子 / 网游 27届AI人才专项计划(实习生专场) 职位描述 参与公司 AI 基础设施的建设,重点围绕模型部署流程的效率优化。通过工程化手段、智能体(Agent)与自动化工具链,减少人工介入,缩短模型从训练完成到上线的周期,提高部署的可靠性与效率。岗位职责模型部署流程的效率优化- 深度参与现有模型部署,分析各个阶段(模型转换、模型验证、上线等)的耗时与瓶颈,提出并实现改进方案。- 设计并构建基于 Agent + Skill 的模型验证与发布助手:将模型格式检查、精度校验、性能基准测试等能力封装为可复用的 Skill;通过 Agent 调度这些 Skill,实现部署任务的自动化。- 设计模型验证等工具,提升多版本或高频部署场景下的效率。可观测性与问题排查- 收集并分析部署全流程的日志、耗时、资源占用等数据,建立部署任务的监控看板,展示部署耗时、成功率、资源消耗等关键指标。- 开发基于 Agent 的故障诊断 Skill:自动识别部署失败常见原因。- 协助构建部署任务的监控看板,展示部署耗时、成功率、资源消耗等关键指标。 基础设施与工具链建设- 参与部署平台的设计与开发,推动模型部署从“脚本化”向“服务化+智能化”演进。- 建设 Agent 与
优才-具身智能算法工程师(后训练 Infra 方向)-觅蜂子公司 上海 正式 职位描述 1. 负责具身智能后训练框架的设计与迭代,构建支撑真机强化学习的规模化训练能力。2. 深入理解强化学习、模仿学习、在线学习等后训练算法(PPO/SAC/DAgger/RLHF 等),基于算法特性设计高效的训练架构与数据流。3. 设计并实现云端多机多卡训练 + 边缘多机多本体 rollout 的分布式异步训练架构,支撑从单机到百台规模的扩展。4. 构建多种后训练算法的统一框架支撑,实现新算法低成本快速接入与验证。5. 负责云边通信体系设计(权重同步、数据回传、时延隐藏),保障大规模分布式训练的效率与稳定性。6. 跟进后训练领域前沿进展(π0.6 / RLT / flow matching RL 等),具备快速复现并工程化落地新算法的能力。 职位要求 1. 计算机、AI、机器人等相关专业硕士及以上学历。2. 具备扎实的 Python/C++ 编程能力,熟悉分布式系统设计与实现。3. 熟悉强化学习算法(PPO/SAC/DAgger 等),深入理解 on-policy / off-policy / online
优才-模型推理AI Infra开发工程师-中央研发部 上海、北京 正式 职位描述 1. 设计面向具身机器人本体亲和的轻量化、高性能推理框架,支持CNN、Transformer、Mamba、GNN等主流网络结构;2. 面向GPU/NPU的具身多模态算子开发与性能优化,实现内存复用、算子融合、数据排布优化、多流并行等通用加速策略;3.对模型推理过程进行时间、功耗、内存占用分析,定位瓶颈并设计软硬协同优化策略;4. 实现支持 PTQ/QAT 的量化工具链(INT8/INT4/FP8/MXFP8等浮点混合精度);5. 跟进VLA、世界模型、空间智能等最新算法架构趋势,及时洞察捕捉低精度量化、AI KernelGen、投机推理等在具身本体上的模型高效推理适配技术 职位要求 1. 熟练掌握C/C++/Python/Go至少一种编程语言,具备CUDA/OpenCL/CANN优化经验;2. 深入理解至少一种推理引擎架构(如tensorrt/vllm/sglang/ktransformer/llama-cpp)推理框架架构;3. 熟悉模型量化原理(KL 散度、MinMax、LSQ、AWQ、GPTQ等)及相关工具链;4. 熟悉常见典型算子实现与优化(卷积、矩阵乘、激活、LayerNorm、Softmax、flashattention等);5. 熟悉MLIR、IREE、Triton、TileLang等至少一中AI编译框架 投递...
优才-训练AI Infra系统优化工程师-中央研发部 上海、北京 正式 职位描述 1. 大规模分布式训练系统:在千卡级GPU/NPU集群上构建稳定、高效的分布式训练系统,支持VLA、WM等具身大模型的预训练与微调;2. 训练数据加载流水线:构建从存储到GPU/NPU显存的高吞吐数据流水线,实现高效的数据预取、采样与加载,消除训练过程中的I/O Stall;3. 训练稳定性保障:解决大规模训练中的故障恢复、Checkpoint 管理、梯度异常等问题,确保长时间训练任务的稳定运行。 职位要求 1.熟练掌握C/C++/Python/Go至少一种编程语言,具备CUDA/OpenCL/CANN优化经验; 2. 熟悉PyTorch 分布式训练机制(DDP/FSDP),熟悉DeepSpeed或Megatron-LM等大规模训练框架的原理与使用;3. 熟悉并行策略:深入理解 多维并行(DP/TP/PP/EP/CP等)的实现原理与适用场景,能够根据模型特点设计最优并行策略;4. 具备性能分析与调优能力:熟练使用 PyTorch Profiler、NVIDIA Nsight 等工具进行性能分析,能够定位并解决计算、通信、I/O 瓶颈;5. 深刻理解典型预训练、持续训练、RL训练等算法原理以及在技术实现时软硬件系统层面挑战 投递...
AI infra工程师 北京 技术 - 算法 硕士及以上 小满星AGI顶尖人才专项 职位描述 1、利用算子优化,显存/KV cache管理优化、分布式加速等技术开发和改进推理框架;2、参与高并发场景下大模型推理的性能分析与优化工作,定位系统瓶颈并提出改进方案;3、探索低资源下的大模型轻量化方案:量化、投机采样、sparse attention等技术;4、与团队协作,推动优化技术在业务中的应用。 职位要求 1、计算机、人工智能、软件工程等相关专业硕士及以上;2、熟悉大模型推理优化方法,对主流开源推理框架tensorRT_llm、vllm、sglang 有开发经验者优先;3、精通 Python/C++ 编程,具有 CUDA 开发及 GPU 调优经验者优先;4、有顶会论文、竞赛获奖或相关实习经验者优先;5、有infra相关实习经验者优先。 职位信息 部门: 智能技术发展部 投递...
具身智能算法实习生(预训练 Infra 方向) 上海 实习 职位描述 1. 参与具身智能统一预训练框架的设计与迭代,支撑 VLA、大模型、世界模型、大小脑等多种模型架构的高效训练。2. 理解 VLA、多模态大模型、世界模型等前沿算法,参与基于算法特性的框架优化方案设计与实现。3. 参与多模态数据加载体系的开发,支持图片、视频、点云、触觉等多种数据格式的高效接入与预处理。4. 参与分布式并行策略(数据并行、模型并行、流水线并行等)的开发与测试。5. 参与数据全生命周期闭环能力建设,包括数据版本管理、质量筛选、配比策略等工具链开发。6. 跟进预训练领域前沿进展,参与新算法的复现与工程化验证。 职位要求 - 计算机、AI 等相关专业硕士在读或优秀本科生。- 熟悉 Python,熟练使用 PyTorch,有深度学习项目经验。- 对多模态模型(VLM/VLA)、视频生成、世界模型等方向有基础理解或强烈兴趣。- 具备良好的工程意识与代码规范,愿意深入理解底层原理。- 实习 3 个月以上优先,能长期实习更佳。加分项- 有分布式训练框架使用或开发经验(DeepSpeed / Megatron / FSDP 等)。- 有论文复现或相关研究经验。- 有开源项目贡献经历。 投递...
具身智能算法实习生(后训练 Infra 方向) 上海 实习 职位描述 1. 参与具身智能后训练框架的设计与迭代,构建支撑真机强化学习的规模化训练能力。2. 理解强化学习、模仿学习等后训练算法(PPO/SAC/DAgger 等),参与基于算法特性的训练架构设计与实现。3. 参与云端多机多卡训练 + 边缘多机多本体 rollout 的分布式异步训练系统开发。4. 参与多种后训练算法的框架侧适配与验证。5. 参与云边通信模块开发(权重同步、数据回传、时延隐藏)。6. 跟进后训练领域前沿进展,参与新算法的复现与工程化验证。 职位要求 - 计算机、AI、机器人等相关专业硕士在读或优秀本科生。- 熟悉 Python,熟练使用 PyTorch,有深度学习项目经验。- 对强化学习(PPO/SAC/DAgger 等)有基础理解或强烈兴趣。- 具备良好的工程意识与代码规范,愿意深入理解底层原理。- 实习 3 个月以上优先,能长期实习更佳。加分项- 有分布式系统或通信框架(RPC / gRPC / ZMQ 等)使用经验。- 有真机强化学习或仿真器(RoboSuite /
机器人软件Infra架构专家 北京、上海、深圳 全职 智能机器人板块 职位描述 定位:负责构建打通“底层芯片-操作系统-中间件-AI框架-业务应用”的全栈软件架构;不仅要解决物理AI Agent与大模型的端侧落地,更要通过“软硬合围”的思路,实现系统集成的高性能、高可靠与高可维护性。 岗位职责:1. 全栈架构设计:负责机器人软件系统的顶层架构设计,定义软件与硬件(SoC、传感器、执行器)的逻辑边界,确保系统在复杂任务下的确定性时延与高吞吐。 2. 软硬协同优化(软硬合围): 深度参与SoC(如NVIDIA Orin、高通、自研算力芯片)的选型与评估; 针对AI算子、图像处理及运动控制算法,进行基于GPU/NPU/DSP的异构计算加速与硬件卸载(Offloading);负责驱动层与应用层的深度打通,优化传感器数据(LiDAR、Camera、IMU)的零拷贝传输机制。 3. 物理AI Agent 与大模型集成: 设计支持大模型(VLM/VLA)与传统控制算法、小模型混合运行的软件框架;解决大模型推理带来的高功耗、高负载与实时控制任务之间的资源竞态问题。 4. 系统集成与实时中间件: 设计并优化高性能通信中间件(如ROS2/DDS/自研中间件),针对具身智能的大规模数据流动进行调优; 负责跨平台(Linux/RTOS/QNX)的系统集成,制定统一的BSP封装与HAL(硬件抽象层)标准。 5. 工程工具链与稳定性: 指导建设HIL(硬件在环)测试体系,打通软硬件联合调试的自动化流程; 负责整机软件的资源监控、功耗管理及容错自愈架构设计。 职位要求 任职要求:1. 教育背景:计算机、自动化、电子工程、人工智能等相关专业硕士及以上学历。 2. 核心技术能力: 精通C++/Python,具备深厚的Linux系统编程能力,熟悉内核调度、内存管理与IO优化;软硬结合经验:熟悉常见嵌入式接口(PCIe、MIPI、USB 3.0、CAN-FD)及协议,有底层驱动或BSP开发经验者优先; AI落地能力(加分项):熟悉TensorRT/OpenVINO/ONNX等工具,有大模型量化部署或AI Agent框架设计经验。 3. 行业经验:5年以上机器人、无人驾驶、高性能计算或智能硬件行业经验,经历过至少一款复杂智能产品的全生命周期研发。
大模型平台 & Infra 工程师 深圳、北京、上海 全职 智能机器人板块 职位描述 负责大模型训练、推理和评测的基础设施研发,为算法团队提供高效稳定的工程底座。1、训练系统:设计和优化大规模分布式训练架构(Pretrain/SFT/RL),解决千卡级训练的通信、调度、容错问题;2、推理部署:基于 vLLM 等框架优化大模型推理性能,支撑 VLT/Omni 等模型在 XP5 端侧和云端的部署;3、评测平台:开发 DeepInsight 评测系统,支持 LLM/VLM/WBC/VLA 多类模型的自动化评测、报告生成和 CI/CD 集成;4、MLOps 工具链:构建模型版本管理、实验追踪、数据管理、资源调度等基础设施,提升研发效率;5、RL 训练环境:构建分布式强化学习训练系统,支持 Agent-环境大规模并行交互。 职位要求 1、本科及以上学历,计算机、软件工程等相关专业;2、 精通 Python,熟练掌握 C++/Go 至少一门;3、在以下至少一个方向有 2 年以上经验:- 分布式训练系统(Megatron-LM/DeepSpeed/FSDP);- GPU 编程与高性能计算(CUDA/NCCL/RDMA);- ML 平台开发(Kubernetes/Ray/Airflow);- 模型推理优化(TensorRT/vLLM/量化部署);4、理解大模型训练和
AI infra架构师 上海 全职 芯片板块 职位描述 1. 基于新一代并行计算架构,负责设计、开发和优化底层算子库,以提升底层芯片的执行性能。2. 与芯片/架构团队紧密配合,持续优化算子性能,逐步完善软硬件架构。3. 分析算子/网络的性能瓶颈,提出性能优化策略,达成性能目标。4. 深入优化平台的性能和硬件资源使用效率,优化AI模型的存储和计算资源利用,包括GPU/TPU、内存、带宽、存储等,提升系统的可靠性、性能和扩展性。5. 持续关注并追踪学术成果和前沿技术,通过对业务需求的理解,推进并行计算架构在深度学习领域的应用。 职位要求 1. 具备优秀的工程实现能力,熟练掌握 C/C++、Python 等常用开发语言,编码规范与工程化意识良好。2. 熟悉主流深度学习框架(TensorFlow、PyTorch 等),具备实际项目开发与性能调优经验。3. 熟悉并行/异构计算体系结构,在 TPU/NPU/GPU 至少一种平台有 5 年及以上的开发与优化经验。4. 有业界常用高性能库(CUDA、cuDNN、TensorRT、OpenCV 等)的开发或性能优化经验者优先。5. 理解指令流水与计算机体系结构,具备面向性能的系统级思维与问题定位能力。6. 具备良好的团队协作与沟通能力,能够清晰表达技术方案,与跨团队成员高效配合推进项目落地。 投递...
【27届校招】AI Infra 工程师 北京、上海、广州 正式 研发 - 算法 通用智能板块 职位描述 1.负责自动驾驶系统基础设施的搭建与优化,包括模型训练、serving和数据挖掘等;2.与其他团队紧密协作,将机器学习方案部署到嵌入式或者云端测试平台;为自动驾驶算法和应用提供良好运行环境。配合算法工程师配置硬件和软件环境,解决算法运行中的基础设施相关问题;3.承担自动驾驶系统的数据闭环工作相关工作,提高数据的数量和质量;4.参与自动驾驶系统的集成与测试。配合其他工程师进行模块集成,确保系统兼容性,制定测试计划对基础设施进行性能和压力测试等;5.编写和维护相关技术文档,记录基础设施设计、搭建和优化过程,为团队成员提供参考。职位要求 职位要求 1.2027 届应届毕业生,计算机科学与技术、电子工程、通信工程、自动化等相关专业;2.具有扎实的计算机基础知识,包括操作系统、计算机网络、数据库等;3.熟悉至少一种编程语言,如 C/C++、Python 等,具备一定编程能力;4.了解云计算、大数据相关技术和概念,有实践经验者优先;5.对自动驾驶技术有浓厚兴趣和热情,愿意投身该领域基础设施建设工作;6.具备良好团队合作精神和沟通能力,能与不同专业背景人员协同工作;7.有较强学习能力和问题解决能力,能快速适应新技术新环境;8.注重细节,有责任心,具备良好抗压能力,能承担一定工作压力。 投递...
【27届校招】AI Infra 部署工程师 广州、北京、上海 正式 研发 - 算法 通用智能板块 职位描述 职位描述:设计、实现与维护自动驾驶软件系统框架,优化系统的性能、延时、稳定性与算法工程师合作,完成端到端大模型的转换与部署,以及模型的预处理/后处理等开发工作负责模型的KPI评测与对齐工作负责功能开发完成后的实车联调、测试及迭代优化等工作 职位要求 岗位要求:计算机、电子信息等相关专业的硕士或博士精通C++、Python,具有良好的代码书写规范和文档编写能力熟悉多线程编程,深入理解计算机体系结构和高性能计算有Linux系统性能优化经验,熟悉常用调试工具具备优秀的问题分析、沟通及协作能力 加分项:熟悉 CUDA 内核与 TensorRT有实际的深度学习模型部署、性能优化经验有自动驾驶或机器人行业相关经验 投递...
【27届校招】AI Infra 推理优化工程师 广州、北京、上海 正式 研发 - 算法 通用智能板块 职位描述 职位描述:我们正在寻找一名专注于模型推理与模型优化的机器学习工程师。你将从模型结构和算法层面出发,对大规模深度学习模型进行优化,使其能够高效部署在小鹏定制的 AI 加速器上。我们通过数据驱动的模型压缩与结构改造,在保证精度的前提下显著降低推理延迟和内存占用。从模型和算法层面对深度学习模型进行推理优化,支持其在小鹏定制 AI 加速器上的高效部署我们的使命是解决自动驾驶,具身职能这一世界级难题。你将与机器学习工程师、编译器工程师和研究科学家紧密合作,将前沿的大模型研究成果转化为可落地的工程方案。 职位要求 职位要求:CS/CE/EE硕士学位,或同等学历,行业经验精通 Python 和 PyTorch,具备良好的研究型和工程型代码能力。对大模型结构(如 Transformer 及其变体)有深入理解。对模型推理框架和工具(onnx,TensorRT, TRT-LLM等)有深入了解。扎实的深度学习基础和推理流程认知。具备模型优化经验,如量化、剪枝、稀疏化、蒸馏等。具备较强的自主学习和论文阅读能力,能够独立推动问题解决。对挑战性和不确定性问题有好奇心,责任感和执行力。 投递...
AI运维工程师(大模型推理 / AI Infra) 深圳 全职 互联网 / 电子 / 网游 职位描述 岗位职责负责 AI 功能(语音助手、AI 问答、Agent、多模态等)的大模型推理服务部署、运维与稳定性保障。负责大模型推理框架部署与性能优化,包括 vLLM、TensorRT-LLM、SGLang 等。负责 GPU 集群与 AI Infra 建设,包括 Kubernetes、容器化、监控告警及自动化运维。参与模型量化、推理加速、显存优化、吞吐优化等工作,提升推理效率并降低成本。配合算法团队完成模型上线、压测、问题排查及线上稳定性优化。 职位要求 任职要求本科及以上学历,计算机相关专业。熟悉 Linux、Python/Shell,具备自动化运维能力。熟悉 Docker、Kubernetes 等云原生技术,有 GPU 集群运维经验。熟悉大模型推理部署,了解 vLLM、TensorRT-LLM、LMDeploy、TGI 等推理框架。理解 Transformer、大模型推理流程及 GPU 加速原理,有推理优化经验优先。有高并发 AI 服务、语音 AI、多模态或智能硬件相关经验优先。
AI Infra工程师-灵犀业务部 深圳 正式 职位描述 灵犀是智元半尺寸人形机器人的核心产品线,也是智元最年轻、最具创新活力的团队之一。我们打造了智元首个爆款产品灵犀X2,累计销量超6000台。这里技术大牛汇聚、工程师文化浓厚,你将深度参与从技术创新、产品定义到规模化落地的全过程,与顶尖团队共同定义下一代人形智能交互服务终端。1、负责感知导航团队 AI 基础设施建设,支撑大规模端到端模型的数据、训练与推理全链路高效运转。2、数据管线:构建机器人多模态数据(图像、点云、轨迹、语言指令等)的采集、清洗、标注、存储与管理平台,打造高效的数据闭环。3、训练基建:搭建并优化大规模分布式训练框架,支持多机多卡训练、混合精度、并行策略(DP / TP / PP / FSDP),提升训练吞吐与资源利用率。4、推理基建:负责模型在机端 / 边缘 / 云端的高性能部署,实现模型量化、剪枝、蒸馏、算子优化与推理引擎集成(TensorRT / ONNX / TVM 等)。5、建设实验管理、模型版本管理与 CI/CD 流程,提升算法团队整体研发效率。 职位要求 1、2027 届本科及以上学历,计算机科学与技术、软件工程、电子信息等相关专业。2、扎实的计算机系统、数据结构与算法基础,熟悉 Linux 开发环境与分布式系统原理。3、熟悉以下至少一个方向并有实际经验:(1)大规模数据处理(Spark / Ray / 数据湖 / 流式处理);(2)分布式训练(PyTorch DDP
训练AI Infra系统优化工程师 上海 校招 正式 技术族 - 软件类 职位 ID:A46765 职位描述 1. 大规模分布式训练系统:在千卡级GPU/NPU集群上构建稳定、高效的分布式训练系统,支持VLA、WM等具身大模型的预训练与微调;2. 训练数据加载流水线:构建从存储到GPU/NPU显存的高吞吐数据流水线,实现高效的数据预取、采样与加载,消除训练过程中的I/O Stall;3. 训练稳定性保障:解决大规模训练中的故障恢复、Checkpoint 管理、梯度异常等问题,确保长时间训练任务的稳定运行。 职位要求 1.熟练掌握C/C++/Python/Go至少一种编程语言,具备CUDA/OpenCL/CANN优化经验; 2. 熟悉PyTorch 分布式训练机制(DDP/FSDP),熟悉DeepSpeed或Megatron-LM等大规模训练框架的原理与使用;3. 熟悉并行策略:深入理解 多维并行(DP/TP/PP/EP/CP等)的实现原理与适用场景,能够根据模型特点设计最优并行策略;4. 具备性能分析与调优能力:熟练使用 PyTorch Profiler、NVIDIA Nsight 等工具进行性能分析,能够定位并解决计算、通信、I/O 瓶颈;5. 深刻理解典型预训练、持续训练、RL训练等算法原理以及在技术实现时软硬件系统层面挑战; 投递...
模型推理AI Infra开发工程师 上海 校招 正式 技术族 - 算法类 职位 ID:A125373 职位描述 1. 设计面向具身机器人本体亲和的轻量化、高性能推理框架,支持CNN、Transformer、Mamba、GNN等主流网络结构;2. 面向GPU/NPU的具身多模态算子开发与性能优化,实现内存复用、算子融合、数据排布优化、多流并行等通用加速策略;3.对模型推理过程进行时间、功耗、内存占用分析,定位瓶颈并设计软硬协同优化策略;4. 实现支持 PTQ/QAT 的量化工具链(INT8/INT4/FP8/MXFP8等浮点混合精度);5. 跟进VLA、世界模型、空间智能等最新算法架构趋势,及时洞察捕捉低精度量化、AI KernelGen、投机推理等在具身本体上的模型高效推理适配技术; 职位要求 1. 熟练掌握C/C++/Python/Go至少一种编程语言,具备CUDA/OpenCL/CANN优化经验;2. 深入理解至少一种推理引擎架构(如tensorrt/vllm/sglang/ktransformer/llama-cpp)推理框架架构;3. 熟悉模型量化原理(KL 散度、MinMax、LSQ、AWQ、GPTQ等)及相关工具链;4. 熟悉常见典型算子实现与优化(卷积、矩阵乘、激活、LayerNorm、Softmax、flashattention等);5. 熟悉MLIR、IREE、Triton、TileLang等至少一中AI编译框架; 投递...
大模型训练与推理Infra工程师-MiMo 北京 社招 全职 职位 ID:A14015 职位描述 1. 模型训练基础设施开发 - 设计和实现支持大规模分布式训练的计算平台,优化模型训练效率和资源利用率。 - 维护和扩展现有的分布式训练框架,确保平台的高性能和稳定性(如基于 PyTorch、TensorFlow 或 JAX)。 - 集成和优化高性能计算技术(如 CUDA、MPI、NCCL 等)。2. 模型推理基础设施开发 - 构建高效的推理框架,支持大模型的在线和离线推理需求。 - 优化推理速度、内存占用和能耗,支持多种硬件架构(GPU、NPU等 )。 - 实现PD分离、Context Caching、模型量化、推敲编码等推理优化技术。3. 性能监控与优化 - 开发工具链和监控系统,跟踪训练与推理过程的性能瓶颈。 - 分析并优化数据加载、通信效率和硬件利用率等关键环节。4. 跨团队协作 - 与模型研究团队密切合作,理解模型需求,定制训练和推理策略。
VLA训练infra算法工程师 - XiaomiRobotics 北京 社招 全职 职位 ID:A243642 职位描述 1. 基于 PyTorch 生态(FSDP / DeepSpeed / Megatron 等)设计并实现 VLA 模型的分布式训练方案(DP / TP / PP / MoE),构建稳定高效的训练框架2. 推动混合精度(BF16 / FP8)与算子融合(FlashAttention / Triton kernel)3. 构建高吞吐数据pipeline,设计数据格式与 shard 策略,实现高效的数据加载4. 支持大规模实验追踪、管理、指标可视化 职位要求