EinsiaAI发布Visual Cipher Bench基准,最强模型GPT-6 Astra准确率仅26.7%

在这一基准测试中,即便是当前表现最强的GPT-6 Astra,准确率也仅为26.7%,显示出视觉密码类任务对现有大模型构成的显著挑战。

AI评测机构EinsiaAI近日发布名为Visual Cipher Bench的视觉密码基准测试,结果显示当前主流大模型在该任务上的表现普遍偏低,即便是表现最强的GPT-6 Astra,准确率也仅为26.7%。该基准的推出,为评估大模型在复杂视觉推理与密码解析场景下的能力提供了新的量化维度。

据EinsiaAI介绍,Visual Cipher Bench聚焦于视觉密码类任务,要求模型对图像中编码的密码信息进行识别与解析。此类任务区别于常规的图像分类或文字识别,需要模型同时具备细粒度视觉感知、符号推理与上下文关联能力。基准的设计目标,是检验模型在视觉信息与抽象规则交叉场景下的推理上限,而非单一模态的识别精度。

从公布的测试结果看,GPT-6 Astra以26.7%的准确率位居参测模型首位,但整体水平仍处于较低区间。这一数据表明,视觉密码解析对现有大模型而言尚未形成稳定能力,模型在处理需要多步视觉推理的任务时仍存在明显短板。EinsiaAI未在本次发布中披露完整参测模型名单及各模型的具体得分分布。

视觉推理能力近年来成为大模型评测的重点方向。随着多模态模型在图文理解、文档解析、界面操作等场景加速落地,业界对模型能否准确理解图像中的结构化与隐含信息提出了更高要求。传统视觉问答基准多侧重物体识别与场景描述,对需要逻辑推演的视觉任务覆盖有限,Visual Cipher Bench的推出填补了这一细分方向的评测空白。

从行业影响看,该基准的低准确率结果为大模型厂商提供了明确的能力改进信号。视觉密码类任务涉及感知、推理与验证的串联,若模型在该类任务上表现不足,可能影响其在验证码识别、图像内容审核、工业质检等对视觉推理精度要求较高的企业级场景中的可靠性。对于正在评估多模态模型落地可行性的企业用户而言,此类第三方基准结果可作为选型参考之一。

EinsiaAI方面表示,Visual Cipher Bench将面向研究机构与模型开发者开放,后续计划扩展任务类型与难度梯度,并定期更新评测榜单。该基准能否成为视觉推理领域的通用评测标准,仍取决于参测模型的覆盖范围与评测方法的透明度。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
美国证券交易委员会据报对英伟达展开调查,此前黄仁勋离职
上一篇 1天前
微软Ignite 2026发布两款AI模型,称编程性能对标Claude Opus 5.5而成本仅为其5%
下一篇 1天前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部