中山大学梁小丹团队围绕视觉语言模型的空间推理能力连续开展GeoThinker系列研究,两项成果分别解决外部几何信息利用效率低与推理阶段计算开销大的问题。其中,GeoThinker-F将模型空间推理耗时从1.45秒缩短至0.40秒,速度提升约3.6倍,空间推理表现基本保持不变。
视觉语言模型进行空间推理时,常见做法是接入VGGT等三维几何编码器,从多视角图像中提取深度、点云等空间线索辅助判断。但外部几何信息并非越多越好,无关特征可能干扰模型决策,且每次调用外部三维模型都会增加推理时间。针对这一问题,团队提出GeoThinker,通过空间信息融合机制让模型根据当前问题主动筛选相关几何线索,并借助重要性门控突出关键区域、抑制无关信息。该工作在空间感知综合基准VSI-Bench上取得72.6分,较基础模型提高14.7分,相关论文已被ICML 2026收录。
GeoThinker仍依赖VGGT实时提取几何特征,难以满足自动驾驶、机器人等场景对即时响应的要求。为此,团队联合小鹏汽车、南洋理工大学和穆罕默德·本·扎耶德人工智能大学推进GeoThinker-F研究,将方向延伸至模型内部的空间表示学习。训练阶段,研究团队以VGGT提取的几何特征作为监督信号,在视觉语言模型中间层接入潜在帧预测模块,包含几何预测与时间预测两个轻量级组件,分别学习当前画面的几何结构和下一帧的视觉语义变化,视觉语言模型主干参数保持冻结。第二阶段移除VGGT,视觉语言模型主干、预测模块与融合模块联合微调,使模型在推理时仅依靠输入画面和问题即可生成所需特征。团队将这两类内部预测特征统称为预测性世界表示。
梁小丹为中山大学教授,国家“万人计划”青年拔尖人才,曾获达摩院青橙奖、吴文俊人工智能优秀青年奖,长期研究多模态视觉理解、三维表征与具身智能。GeoThinker系列工作是该方向上的持续成果,两项研究的通讯作者均为梁小丹。
从依赖外部三维编码器到模型内部自生成空间线索,该研究降低了视觉语言模型空间推理的部署成本,为空间智能在实时性要求较高的具身智能与辅助驾驶场景中落地提供了新的技术路径。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。