2026年10月的大模型行业呈现出两套截然不同的评测叙事。第三方评测聚合平台BenchLM截至10月26日的统计显示,在其追踪的710个基准中,有295个具备实际覆盖度的百分制基准,其中105个(约36%)已经彻底饱和,榜首得分全部在90分以上。当分数集中在天花板附近,一两分的差距究竟源于模型能力提升还是提示词与采样的随机波动,已难以分辨。
在此背景下,数据标注与评测公司Surge AI在过去一个多月内连续发布三份面向真实职场场景的评测集,将一众旗舰模型的得分拉回及格线以下。sudo L7聚焦资深工程师级编程任务,包含60道来自真实生产代码库的题目,排行榜上Claude Opus 5.5与Sonnet 5.5并列第一,通过率仅为41.7%;OpenAI的GPT-6 Astra为33.9%;10月6日以预览版上线的Mistral Large 4得分只有11.7%。GDP.xlsx覆盖金融、医疗、地产等12个行业从业者日常工作的70道真实Excel任务,排名第一的Google旗舰模型Gemini 4 Argon得分仅为38.3%。DAYJOB则包含130项由医疗和金融专家编写的长流程任务,医疗赛道最好成绩为Claude Opus 5.5的24.7%,金融赛道为Claude Sonnet 5.5的24%。
得分从旧榜的九十多分降至新榜的二三十分,原因在于考卷设计的变化。旧题考察的是给定明确指令后能否执行,新题考察的是面对不完整信息时能否判断需求是否合理、是否遗漏关键条件。sudo L7中一道来自真实金融科技代码库的题目要求模型在Webhook回调失败时打印完整Payload并直接返回HTTP 200,GPT-6 Astra按要求完成了实现,但未识别出返回200会导致失败回调不再重试、完整日志会暴露客户敏感信息等风险。人类资深工程师通常会先拦截需求、说明丢单与泄密风险,再给出持久化落盘加异步重试的替代方案。
细分评分显示,在功能正确性维度,GPT-6.1 Sol(82.4%)、Claude Opus 5.5(82.1%)、GPT-6 Astra(81.5%)、Claude Sonnet 5.5(79.6%)差距极小,头部模型在代码正确性上已难以拉开差距。分水岭出现在工程判断力上:在考察是否像同事一样追问需求、提出异议的伴随式思考维度,两款Claude模型在75%上下,GPT-6.1 Sol和GPT-6 Astra分别降至53.0%和51.6%;沟通维度上Sonnet 5.5为72.4%,Sol仅为44.1%。但Claude同样存在失败模式,在另一道慈善捐款应用题目中,Claude Opus 5.5在系统本已支持按比例拆分捐款的情况下另起炉灶,留下两套并行逻辑,267个单元测试全部通过却不符合成熟工程交付标准。
GDP.xlsx与DAYJOB进一步揭示了长流程中小错误的放大效应。在一道商业地产基金租金预测题中,Meta的Muse Spark 1.3找出了全部6家折扣到期租户,却未打开记录提前解约条款的分表,遗漏3家涉及约1400万美元预测租金的租户。DAYJOB每项任务配有行业专家制定的二元评分细则,医疗赛道细则数量中位数为47.5条,金融赛道达57.5条,单步疏漏在长工作流中被逐级放大。
三份评测的共同指向是,企业买方对模型能力的评估标准正从基准分数转向可交付性。当考卷出题人从评测机构变为一线从业者,排行榜的排位与分数含金量随之重构,模型厂商在工程判断力与长流程可靠性上的差距,将成为企业选型的新依据。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。