多模态训练加速研发工程师-infra 北京、上海、深圳、成都 社招 全职 技术 - 算法 职位 ID:A160794 职位描述 1. 负责大规模分布式训练和推理的基础架构设计、开发、优化,支持千卡以上级别大规模模型训练;2. 针对多模态数据特点,通过多样化的分布式并行策略和通信优化技术,支持长序列训练,有效解决多模态场景下的训练效率瓶颈,追求业界最领先的性能;3. 构建和维护海量多模态数据的流式处理管道,有效支撑多模态大模型在大规模预训练阶段的数据高速加载;4. 负责多模态推理引擎的功能开发和性能优化,包括吞吐率优化、latency时延优化和性能瓶颈排查; 职位要求 1. 熟练掌握Transformer系列模型架构原理,精通至少一种开源训练框架,如Megatron-LM、DeepSpeed、Colossal-AI等,有大模型分布式训练调优经验者优先;2. 精通GPU系统架构和内存原理,有丰富的CUDA编程经验,能进行全面的GPU Profiling分析;3. 熟悉至少一种开源Serving框架,如vLLM、SGlang 等;4. 有扎实的工程算法基础和极佳的工程实现能力,精通C/C++ 和 Python 开发,常用设计模式、算法及数据结构; 投递...