2026年10月16日，vLLM官方博客发布技术复盘文章《Hyper Optimizing Kimi K3 in vLLM: Moving Fast and Responsibly》，作者为英伟达CentML工程师Benjamin Chislett。该文披露，团队通过一段1.2万行CuTe DSL编写的Megakernel，在未更换硬件、未采用更先进制程的前提下，将月之暗面2.8万亿参数模型Kimi K3的推理速度大幅提升。据SemiAnalysis测算，在相同GB300 NVL72硬件上，K3达到423 tok/s/user的推理速度，性能提升1.68倍；vLLM博客原文报告的数据为batch 1下超过840 tokens/s，多个测试配置下解码吞吐提升1.5至2倍。
Kimi K3采用Stable LatentMoE架构，包含896个专家，每次推理激活16个。这种极端稀疏的MoE结构在训练端能以更少激活参数撬动更大模型容量，但在推理端构成工程难题。据SemiAnalysis分析，K3一次前向计算的HBM带宽需求约1.5TB，每次前向触发超过120次All-to-All通信。解码阶段属于典型的内存带宽受限场景，计算单元大部分时间处于等待数据搬运的状态。传统推理引擎的解码过程由注意力、MoE路由、专家计算、通信等一系列独立内核串行完成，每次内核启动均产生开销，内核间数据交换需经过显存读写。
Megakernel的核心思路是算子融合，即将分散的解码内核合并为高度融合的超级内核，以减少启动开销、合并内存访问，并让计算与通信尽可能重叠。这1.2万行代码的价值在于，将”通用硬件跑通用模型”的默认效率替换为”专用硬件跑专用模型”的极致效率。硬件与模型均未改变，改变的是数据在硬件上的流动方式。
更值得关注的是代码的生产方式。vLLM博客明确写道，编码智能体已能协助完成模型优化中最困难的部分，包括编写复杂GPU内核、执行跨算子融合、重叠计算与通信，以及针对不同批次大小和GPU配置调优执行。团队使用了智能体辅助开发来构建统一的CuTe DSL解码路径。人类工程师Benjamin Chislett仍是项目主导者与架构设计者，但在复杂GPU内核编写、跨算子融合、通信重叠、多配置调优等环节，AI承担了相当大的工作量，以至于人类的逐行审查难以跟上。博客原文指出：”Agent-optimized inference code is outpacing our review and maintenance workflow.”
为应对这一局面，vLLM团队发布了fast-track model optimization RFC，其核心并非提升人类审查速度，而是改变性能工作的组织方式。博客列出四条原则：隔离变更、限定范围、系统化验证正确性、扩大验证。博客同时指出，人类审查者仍然判断设计与证据，但可以从高层抽象出发，而非逐行审阅代码。这意味着人类角色正从代码编写者转向验证框架与风险边界的设计者。
从技术路径看，解码优化与训练优化的难度差异显著。训练属于算力峰值受限场景，解码则属于内存带宽受限场景。K3的896个专家分布到多张芯片上，每处理一个token，路由系统需将数据分发至被选中的专家所在芯片并回收结果，超过120次All-to-All通信每一次都带来延迟。因此在该场景下，更换更快的芯片未必是最高效的解法，瓶颈不在算力峰值，而在数据流动效率。Megakernel的算子融合本质上是在减少数据在显存与计算单元之间的搬运次数。
这一技术判断具有明确的产业含义：当制程红利放缓、单卡峰值性能追赶以年为单位计算时，让已有硬件跑出更高有效算力正在成为回报率更高的路径，编译器栈也随之成为算力竞争的新前线。与此同时，AI辅助开发在模型优化最困难环节的深度介入，以及人类审查从逐行代码转向高层抽象与验证框架的现实，为”人类在回路中”这一原则提出了新的流程性问题。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
