Refine Reset All
Recent Searches
clear
Sort by
Relevance
Date Posted
Location
Job Type
Employer/Recruiter
1 – 1 of 1 jobs
2027校招-推理框架工程师（上海/成都/北京） 北京、上海、成都 校招 正式 职位描述 分布式推理系统开发1、设计并实现大规模AI模型（如LLM、多模态模型）的分布式推理框架，优化吞吐量（Throughput）和延迟（Latency）。2、开发模型并行（Tensor/Pipeline Parallelism）、动态批处理（Dynamic Batching）和连续批处理（Continuous Batching）策略。3、解决多节点、多GPU环境下的负载均衡和通信瓶颈问题。4、优化计算图执行（如使用TensorRT、ONNX Runtime、vLLM等工具）。5、实现量化（FP8/INT8）、KV Cache优化、Flash Attention等加速技术。 职位要求 精通 Python/C++，熟悉PyTorch/TensorFlow推理生态。深入理解分布式系统（NCCL/RPC通信、GPU Direct RDMA）和 并行计算（CUDA、OpenMP）。熟悉推理加速技术（量化、剪枝、算子融合）和框架（TensorRT、vLLM 、Sglang）。 投递...
Recommended jobs for you
