AI 竞技场 Arena 于 10 月 20 日公布最新评测结果,深度求索发布的 DeepSeek-V4.1-Flash-1017 在 Agent Arena 与 Code Arena: WebDev 两个榜单的开源模型排名中均位列第一,其中在 Agent Arena 总榜排名第 11。该版本以 DeepSeek-V4.1-Flash-20261017(Max)的标识参与评测。
根据 Agent Arena 披露的数据,该模型的成绩基于 7498 次真实使用会话得出,综合净改善指标为 5.13%,单任务成本中位数约为 0.18 美元。在细分指标上,任务成功确认、用户正负反馈与 Bash 命令执行可靠性三项均位列开源模型第一。其中任务成功确认指标为 11.54%,总榜排名第 8;用户正负反馈指标为 5.89%,总榜排名第 11;Bash 命令执行可靠性指标为 5.42%,总榜排名第 12。可引导性指标为 2.46%,总榜排名第 13,同样为开源模型最高。
工具幻觉指标方面,该模型录得 0.48%,榜单排名第 7。该指标用于衡量模型虚构自身并不具备的工具的情况,数值越低表明此类问题越少,对智能体在真实任务链路中的可靠性具有直接参考意义。成本数据显示,该模型单任务成本中位数在 0.18 至 0.19 美元之间,不同榜单页面显示的数据略有差异。
Arena 同时将该模型列入性能与任务成本的帕累托前沿。按照该评测采用的指标口径,这意味着在入选模型范围内,不存在同时在性能和成本两个维度上均优于它的模型。对面向智能体场景的开发者而言,这一位置通常比单纯的单项性能排名更具选型参考价值。
DeepSeek-V4.1-Flash-1017 是深度求索近期迭代的版本,官方此前披露的信息显示该版本在性能提升的同时缩短了任务耗时,并支持以自然语言描述需求直接生成可运行结果的编程方式。此前 DeepSeek 已上线网页搜索与抓取 API,API 侧曾短暂出现 V4.1 Flash-1017 快照,配套的 Harness v0.2.1-rc1 也已发布。另有消息称,深度求索已将 Harness、Web、App、Platform 团队整合成立产品部,这一组织调整与其近期在智能体工具链上的密集动作相对应。
从行业视角看,Agent Arena 以真实使用会话为样本、同时纳入成本与工具幻觉等维度的评测方式,正在成为智能体模型选型的重要参照。开源模型在任务成功确认与指令遵循等关键指标上进入总榜前列,且单任务成本维持在 0.2 美元以下,意味着企业在构建自动化任务流程时的模型选择空间进一步扩大。随着深度求索在产品与工具链层面的整合推进,其在开源智能体模型市场的竞争位置值得持续观察。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。