调研机构SemiAnalysis于10月18日发布报告称，英伟达通过一项vLLM上游优化，使参数量达2.8万亿的Kimi K3模型在GB300 NVL72硬件上实现423 tok/s/user的推理速度，相同硬件条件下性能提升1.68倍。
该优化由英伟达CentML团队工程师Benjamin完成。技术路径上，其采用大规模Megakernel融合方案，并使用Cute DSL编写英伟达新推出的解码专用内核。整个Megakernel包含1.2万行代码，SemiAnalysis认为这一实践代表着AI辅助生成高级计算内核的未来方向。vLLM作为主流开源推理框架，其上游优化通常会被下游厂商直接继承，这意味着相关性能收益有望扩散至更广泛的部署场景。
Kimi K3为月之暗面推出的旗舰模型，2.8万亿参数量使其推理部署对显存带宽与内核调度效率提出较高要求。此次优化聚焦解码阶段的内核融合，减少算子启动与调度开销，是超大参数模型提升单用户吞吐的典型思路。英伟达方面除Kimi K3外，还在为vLLM开发针对DeepSeek V4.1等其他模型的优化，显示其正通过框架层持续投入巩固推理生态。
对企业和开发者而言，此类上游优化的直接意义在于降低大模型推理的单位算力成本。在GB300 NVL72这类高密度算力平台上，单用户吞吐提升1.68倍可转化为更低的每Token服务成本，对需要承载高并发推理的SaaS与AI应用厂商具有实际价值。随着模型参数规模继续攀升，推理框架与专用内核的协同优化正成为算力效率竞争的关键环节。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
