Artificial Analysis发布Intelligence Index v5,60%权重转向私有测试集,DeepSeek V4.1 Flash登顶FrontierCode 2.0开源模型

v5 并没有让开源模型“一夜变差”,它改变的是测量的东西 —— 当题目不再公开、评分不再只看通过率,那些依靠公开题库优化出来的分数被系统性地挤掉了水分。

Artificial Analysis 于 10 月 28 日发布 Intelligence Index v5,这是该机构自 2026 年 1 月 v4 上线以来幅度最大的一次基准重构。最直接的变化是,60% 的评测权重首次建立在私有测试集或隐藏答案之上,用于压缩公开题库被模型训练数据污染的空间,减少各厂商为跑分而设置的注水测试项目。

该指数仍由九项评测构成,知识工作、编码、科学、通用能力各占 25%。其中编码 25% 的权重里,Cognition 于同日发布的 FrontierCode 2.0 独占 15%,Terminal-Bench 4.0 占 10%。FrontierCode 2.0 完全更换了评分逻辑:132 项任务全部来自真实开源仓库,模型提交的代码改动不再只由单元测试是否通过来判定,而是由该仓库维护者按“是否愿意合并这个 PR”来打分,任何一项阻塞性检查失败即记零分。Cognition 在 6 月推出 FrontierCode 初版时即强调,传统基准只检查代码能否跑通,而合并决策还涉及改动范围是否克制、风格是否与代码库一致、回归风险是否可控等测试无法完全覆盖的维度。v5 将这一基准升级到 2.0 并纳入主指数,等于把“可合并性”而非“可运行性”推到了编码能力评价的中心。

在这一口径下,DeepSeek V4.1-Flash 1017(max)在 FrontierCode 2.0 上录得 28%,是所有已发布权重模型中得分最高的一个。Kimi K3.1 Pro 以 25.5% 紧随其后,但其完整权重按月之暗面官方博客的表述要到 11 月 4 日前才发布,Artificial Analysis 在 v5 报告中将其标注为“weights not yet released”。谷歌 Gemini 4 Argon(high)为 25.7%,GPT-6 Luna 为 25.2%,均低于 DeepSeek V4.1 Flash。需要说明的是,这一成绩位于 FrontierCode 2.0 单项之内;在 Intelligence Index v5 的综合得分上,DeepSeek V4.1 Flash 与 GLM-5.3 同为 32 分,仍落后榜首 Claude Opus 5.5(58 分)26 分,且低于 Claude Haiku 5.5 的 36 分。

Artificial Analysis 指出,v5 真正加剧的是开源与闭源前沿之间的整体距离。v4.3 时,最强开源模型与榜首的差距是 3 分;v5 把大部分公开题换成私有题、并大幅加重智能体实战任务的比重之后,这一差距扩大到 12 分。Kimi K3.1 Pro 以 46 分成为名义上最强的开源权重模型,但其权重尚未发布;已发布权重的模型中,32 分是当前的天花板。差距在 HLE-Diamond 和 Terminal-Bench-Science 两项上最为明显:Kimi K3.1 Pro 分别为 37% 和 34%,而 Claude Opus 5.5 在 HLE-Diamond 上为 68%,GPT-6 Astra 在 Terminal-Bench-Science 上为 63%。

v5 并未让开源模型的能力出现实质下滑,其改变的是测量对象。当题目不再公开、评分不再只看通过率,依靠公开题库优化出来的分数被系统性地挤出。另一个被 v5 放大的变量是“努力值”(思考等级)的成本优势。Claude Opus 5.5 从低努力档到 max 档跨越 23 分,单任务成本从 0.98 美元升至 10.04 美元,相差约 10 倍。Claude Sonnet 5.5 在不同努力档之间的分差从 v4.3 的 20 分扩大到 29 分,GPT-6.1 Sol 的跨度翻倍至 20 分。这意味着同一模型在“省钱模式”和“全力模式”下的表现差距,已经大到接近两个不同模型的水平。在得分最高的十款模型中,GPT-6.1 Terra 的每任务成本最低,为 0.96 美元,Claude Fable 5.1 最高,为 13.04 美元,相差超过 13 倍。

与 v5 同步推出的 Progress Index v1 则处理另一问题:当基准本身每隔几个月就更换一次,不同年代的模型如何放在同一尺度上比较。Progress Index 将 2022 年 11 月以来发布的主要语言模型映射到一个连续的能力尺度上,其设计参考了 Epoch AI 的 Epoch Capabilities Index 的方法。Intelligence Index 继续作为衡量“当下前沿”的主指标,Progress Index 则用于观察“能力随时间如何演进”,两者回答的是不同问题。

v5 的九项评测中没有任何一个模型全部领先:Claude Opus 5.5 拿下 FrontierCode 2.0、HLE-Diamond 和 AA-Omniscience 三项,GPT-6 Astra 在 Terminal-Bench-Science 和 CritPt v2 困难子集上居首,Kimi K3.1 Pro 在 Terminal-Bench 4.0 上以 67% 领先。单项优势的分散程度比总分排名更值得注意。对模型厂商而言,v5 意味着围绕公开题库的跑分优化策略边际收益进一步收窄,编码能力的评价重心正从“代码能否运行”转向“代码能否被真实维护者接受”,这一变化将直接影响企业级 AI 编码工具的选型标准与采购决策。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
Google推出开发者平台,将Gemini与搜索接入更多第三方应用
上一篇 2小时前
苹果 M6 版 24 英寸 iMac 开启预购,国补后 10999 元起
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部