1 – 1 of 1 jobs
具身智能大模型训练系统开发与优化实习生 上海 实习 职位描述 将会参与如下四个典型训练系统优化方向工作(包括但不限于下面四个方向)参与方向一：支撑大规模预训练/微调的高效稳定运行关键任务：1. 参与千卡级别分布式训练集群的框架优化，确保训练任务在大规模集群上的稳定性（任务失败率 xxx%）和可恢复性（断点续训时间 xxx分钟）2. 优化训练任务的吞吐量（Throughput），相比基线提升至少 20%3. 参与至少一种并行策略（数据并行、模型并行、流水线并行、MoE并行）的框架级实现或深度优化方向二：降低大模型训练显存占用，支持更大规模模型关键任务：1. 集成或优化至少一种显存节省技术（ZeRO-1/2/3、重计算（Activation Checkpointing）、混合精度训练），使相同GPU下的可训练参数量提升 30% 以上2. 参与FlashAttention、Flash-FFN等高性能算子在分布式训练框架中的集成与适配3. 验证并对比不同并行策略组合（如 FSDP + 张量并行）的显存效率与计算效率方向三：优化跨节点通信效率，降低通信开销关键任务：1. 使用 NCCL 或 CANN ACL profiling工具分析通信瓶颈（AllReduce、AllGather等），并提出至少 2 项有效优化方案2. 参与实现通信与计算的重叠（overlap）优化，使通信隐藏比例提升至 50% 以上3. 探索并验证低比特通信（如 FP8 梯度通信）在训练中的可行性与效果方向四：完善训练框架的可用性与可观测性关键任务：1. 开发或优化训练监控 Dashboard，覆盖多类关键指标（GPU利用率、内存占用、通信耗时、吞吐量、损失曲线）2.