11月18日,地平线机器人实验室发布原生视频几何基础模型LoFT(Looped Foundation Transformer for Video Geometry)。该模型能够从RGB视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。
与面向单帧或图像集合的传统几何模型不同,LoFT原生面向连续视频建模。其核心架构为双循环Transformer,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。具体而言,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。模型结合双循环特征预测逐帧深度及其置信度,从而恢复场景的可见三维结构。
训练数据方面,地平线机器人实验室搭建了统一的三维重建数据处理与训练平台,包含约297万条有效训练序列、9.62亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。这一数据规模在视频几何基础模型领域处于较高水平,为模型的泛化能力提供了支撑。
评测方面,研究团队在SpatialBench、ClassicBench和VRBench三套评测体系中将LoFT与VGGT-Ω、DA3-Giant等代表性模型进行比较。其中SpatialBench覆盖12个数据集、98个连续视频场景;ClassicBench整合7个经典视频重建基准;VRBench涵盖机器人、自动驾驶及通用视频场景。根据官方公布的信息,LoFT在多项深度估计指标上达到SoTA,在经典重建与连续视频重建评测中同样取得SoTA效果。
从公开的演示场景看,LoFT的能力覆盖高频动态场景下的空间感知、文字级精细几何重建、驾驶场景中对动态车辆的鲁棒视觉重建以及复杂生活场景的高精度重建。在应用侧,该模型可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。
视频几何基础模型是具身智能与机器人感知领域的关键基础设施之一。相比依赖激光雷达或深度相机的方案,仅从RGB视频恢复三维几何结构可显著降低硬件成本,并提升在开放环境中的适应性。地平线机器人实验室此次发布的LoFT,在架构设计上强调视频时序信息的原生利用,与此前以图像为核心的几何模型形成差异化路线。随着具身智能对空间感知能力要求的提升,此类基础模型的迭代进展值得持续关注。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。