国产大模型厂商DeepSeek近日全面开源推理框架DeepInfer。继模型权重以及FlashMLA、DeepGEMM等算子库之后,DeepSeek进一步开放了模型运行的完整链路。算子作为模型在芯片上执行的基础单元,其效率直接决定同等显卡的推理速度与每个token的成本,同一模型、同一芯片更换更优算子有时可带来数倍性能提升。
在DeepSeek开源的算子库中,FlashMLA的工程师手调版本算子性能达到硬件极限的90%以上,被视为人工逐行调优在部分芯片上所能触及的上限。但这一上限在同一周内被AI刷新。截至10月22日,完全由AI编写算子、无人工逐行调优的ForgeKernel同时登顶两个算子评测榜:在英伟达主场的SOL-ExecBench FlashInfer-Bench合集排名第一,同时在昇腾CANN官方仓库维护的CANNBench A3硬件榜位列第一,基准加速比达1.835倍,领先第二名25%。
除榜单名次外,ForgeKernel在具体模型任务上的表现同样值得关注。在DeepSeek v4.1 Flash的算子上,相比DeepSeek开源的英伟达版本,ForgeKernel通过从零开始由AI迭代的方式实现了性能超越。这意味着AI在算子优化这一长期依赖资深工程师经验的环节,已具备端到端自主生成并超越人工版本的能力。
从行业角度看,DeepSeek开放推理框架与算子库,降低了模型在国产芯片上高效部署的门槛;而AI自动生成算子的路径,则为算力层优化提供了不依赖稀缺手调工程师的规模化方案。两者共同指向同一方向:让模型在每一块芯片上都跑得更快,进而压低推理成本。随着算子优化从人工手艺转向AI迭代,国产算力生态的效率竞争或将进入新的阶段。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。