DeepSeek全面开源推理框架DeepInfer,AI自动生成算子ForgeKernel登顶两大评测

国产大模型的竞争,正从模型层延伸到算力层:再强的模型,最终都要基于算子在芯片上执行。

国产大模型厂商DeepSeek近日全面开源推理框架DeepInfer。继模型权重以及FlashMLA、DeepGEMM等算子库之后,DeepSeek进一步开放了模型运行的完整链路。算子作为模型在芯片上执行的基础单元,其效率直接决定同等显卡的推理速度与每个token的成本,同一模型、同一芯片更换更优算子有时可带来数倍性能提升。

在DeepSeek开源的算子库中,FlashMLA的工程师手调版本算子性能达到硬件极限的90%以上,被视为人工逐行调优在部分芯片上所能触及的上限。但这一上限在同一周内被AI刷新。截至10月22日,完全由AI编写算子、无人工逐行调优的ForgeKernel同时登顶两个算子评测榜:在英伟达主场的SOL-ExecBench FlashInfer-Bench合集排名第一,同时在昇腾CANN官方仓库维护的CANNBench A3硬件榜位列第一,基准加速比达1.835倍,领先第二名25%。

除榜单名次外,ForgeKernel在具体模型任务上的表现同样值得关注。在DeepSeek v4.1 Flash的算子上,相比DeepSeek开源的英伟达版本,ForgeKernel通过从零开始由AI迭代的方式实现了性能超越。这意味着AI在算子优化这一长期依赖资深工程师经验的环节,已具备端到端自主生成并超越人工版本的能力。

从行业角度看,DeepSeek开放推理框架与算子库,降低了模型在国产芯片上高效部署的门槛;而AI自动生成算子的路径,则为算力层优化提供了不依赖稀缺手调工程师的规模化方案。两者共同指向同一方向:让模型在每一块芯片上都跑得更快,进而压低推理成本。随着算子优化从人工手艺转向AI迭代,国产算力生态的效率竞争或将进入新的阶段。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
ZoomInfo通过GTM.AI与Exa达成原生集成,向AI智能体开放B2B数据接口
上一篇 3天前
新一代小米 SU7 Ultra 伪装车路测视频曝光,超大尾翼设计巨吸睛
下一篇 3天前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部