Refine Reset All
Recent Searches
clear
Sort by
Relevance
Date Posted
Location
Job Type
Employer/Recruiter
1 – 1 of 1 jobs
大模型infra工程师 (VLM训练) 北京 全职 互联网 / 电子 / 网游 职位描述 负责支撑百亿/千亿级 VLM 从零开始的预训练。直面万卡级集群的通信瓶颈与显存墙，深入分布式训练内核，从第一性原理出发设计并落地业界领先的并行策略与通信调度方案。1. 分布式并行架构设计与演进：主导设计并持续优化 4D 并行（DP/PP/TP/CP）策略。深入理解并落地 DeepEP、Dual Pipe、ZeRO 等核心机制，在多机多卡环境下实现通信与计算的高度重叠，逼近集群线性加速比。2. 集群通信效率极致优化：从拓扑亲和性与通信原语调度层面，对分布式训练中的集体通信模式进行深度调优。通过计算通信重叠、通信分组优化等手段，将集群通信效率逼近硬件带宽上限。3. 显存与算力利用率的极致压榨：围绕 MFU（Model FLOPS Utilization） 和显存利用率两大核心指标，持续进行系统级调优。结合 Context Parallelism 等并行策略，在多卡环境下实现显存、带宽、算力三者之间的最优平衡。4. 训练稳定性与全链路 Profiling：建立系统级性能看护体系，通过端到端 Profiling 精准定位慢节点、通信拥塞及负载不均等系统性瓶颈。从集群调度、存储 I/O 到计算图执行进行全链路分析，保障数月级长稳训练及故障快速恢复。 职位要求 1.
Recommended jobs for you
