浙大发布SpaceCast-Bench基准:21个视觉语言模型预测性空间推理最高准确率58%

在21个视觉语言模型的评测中,最高准确率只有58.0%,距离人类87.2%的准确率仍有明显差距。

浙江大学研究团队近日发布空间智能新基准SpaceCast-Bench,专门评估视觉语言模型的预测性空间推理能力。评测结果显示,在21个视觉语言模型中,最高准确率为58.0%,与人类87.2%的水平相差29.2个百分点。该基准由李弘幸、苏进越共同一作,沈永亮担任通讯作者,庄越挺、肖俊、张文祺、鲁伟明等参与。

现有空间推理评测多聚焦于对输入画面中已呈现关系的识别,即判断物体当前的位置、距离与遮挡状态。但在真实交互场景中,机器人需要面对动作带来的场景变化:物体被移动、旋转或移除后,空间关系随之改变。SpaceCast-Bench将任务拆解为“观察—变换—推断”三个阶段,模型需从变换前的观测中理解场景状态,在给定一次空间干预后推断从未被直接展示的结果状态,变化后的画面不会以新图片形式提供给模型。

该基准包含182个真实室内场景、3862道问题和16类任务,设置三个能力层级:L1静态感知测试当前方向、距离、可见性、遮挡与附着关系;L2局部预测加入物体移动、旋转或移除,并考虑附着关系带来的联动变化;L3全局预测对整个场景布局进行整体旋转,要求模型在不同参考系下重新判断空间关系。评测同时覆盖以相机、物体和世界为中心的三种参考系。

评测中出现一个反直觉结果:6个空间专项模型的总体准确率仅为25.7%至29.1%,接近25.9%的随机基线,且低于所有闭源模型和通用开放权重模型。在L3全局预测层级,SenseNova-SI-1.2从L2的30.5%降至16.1%,Cambrian-S-7B从28.8%降至17.1%,显示现有空间专项训练尚未有效提升模型的全局空间表示及更新能力。相比之下,部分通用模型在L3出现回升,Gemini 3.5 Flash从L2的45.3%升至69.4%,Qwen3.7-Plus从43.2%升至66.6%。

在附着关系任务上,模型表现分化明显。Qwen3.7-Plus、GPT-5.6-Luna和Qwen3.5-27B的准确率分别达到80.4%、74.2%和68.0%,而SenseNova-SI-1.2仅为13.4%,SpatialLadder为9.3%,表明附着关系在空间专项训练中的覆盖仍不充分。此外,团队测试了思维链提示,结果显示增加推理步骤并未带来稳定提升,不同模型、不同层级的变化方向不一致,部分任务提高、部分下降。

该基准的发布为空间智能评测提供了新的维度。从结果看,预测性空间推理仍是视觉语言模型的明显短板,空间专项模型在静态感知之外的泛化能力尤其值得关注。随着具身智能与机器人交互需求上升,如何让模型在场景变化后维持准确的空间判断,将成为空间智能研究的关键课题。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
微信灰度测试短剧一级入口,绿泡泡以高分成策略争夺AI短剧供
上一篇 1天前
黄仁勋辞任英伟达CEO 克雷斯出任临时CEO
下一篇 1天前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部