10月30日至31日,面壁智能进行了一场持续22.5小时的公开直播:一个名为ForgeKernel的智能体在无人参与的情况下,仅依据算子的数学定义与目标硬件约束,为英伟达B200 GPU编写DeepSeek注意力核心算子FlashMLA的Prefill实现。最终版本耗时472微秒,较FlashMLA的518微秒快9.8%。全程完成42轮迭代,留下32个版本,消耗22个GPU小时,人类手写代码为零行。
算子是大模型运行时反复调用的基础计算模块,矩阵乘法、归一化等运算均需通过算子在芯片上完成,其优化水平直接决定芯片实际性能的发挥程度。这一层长期被视为最依赖人类专家经验的环节,从业者需同时掌握算法、芯片存储层级与指令调度,FlashAttention类深度重构算子往往需要数月乃至半年才能完成一次迭代。2025年初斯坦福发布的KernelBench显示,当时最强推理模型写出的GPU算子能追平PyTorch基线的不足两成。
直播过程中,ForgeKernel在第一版通过正确性检查后耗时1834微秒,不到4小时压缩至593微秒,第7小时前后实现核心结构突破并首次跑赢FlashMLA。后段该智能体自主识别出Q的突发加载与KV数据搬运争抢访存资源的问题,主动控制Q的请求节奏,进一步降低2.4%耗时。此类判断此前通常由资深专家完成。
在华为昇腾侧,ForgeKernel同时登顶CANNBench的950DT、950PR、A3三张硬件榜单,其中950DT为华为今年新推出的芯片,配套算子库尚处建设初期。按10月27日榜单数据,其总分领先第二名37.1%。在英伟达SOL-ExecBench最难的FlashInfer-Bench赛道上,ForgeKernel同样排名第一,该评测从124个真实模型中抽取235道CUDA算子题,衡量的是与硬件物理极限的距离,同榜团队包括Databricks、Cursor、Qwen等。跨平台迁移时,ForgeKernel仅需将性能分析工具从NCU更换为msprof,新芯片所需硬件知识由模型在目标芯片上边测边攒。
直播结束后,面壁智能进化实验室联合OpenBMB社区宣布开源ForgeKernel,相关论文也已挂网。面壁智能此前以端侧模型见长,此次其生成的算子同时位列昇腾与英伟达官方榜单首位,并已接入训练框架。对于国产芯片而言,算子适配长期受制于专家数量与迭代速度,自动化算子生成若能在多硬件平台复用,将直接影响芯片软件栈的成熟节奏。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。