2026年11月,机器人学习顶会CoRL在奥斯汀开幕。斯坦福大学教授、ImageNet发起者、World Labs创始人李飞飞在大会上发表了主题演讲,正式介绍其团队研发的新模型Atlas——一个统一的生成与重建世界模型。这是World Labs被AMD收购消息传出后,李飞飞首次在公开场合系统阐述其技术工作,她同时邀请AMD首席执行官苏姿丰参与对话圆桌,被外界视为其履新AMD首席科学家前的首次公开亮相。
李飞飞在演讲中首先回到机器人学的根本问题:给定世界状态、目标和机器人,每一个时刻下一步该做什么。她将其拆解为三个核心能力——理解和表示世界状态、预测有后果的动作并加以规划、以及通过模拟不同环境补充真实数据。她认为,这三个问题恰好对应世界模型的三大维度:渲染、规划与仿真。Atlas主要解决渲染和仿真问题,尤其是模拟世界的几何以及3D/4D动态。
从技术路线看,Atlas延续了计算机视觉领域两条研究脉络的融合。一条是经典3D重建,从“Building Rome in a Day”到NeRF类神经渲染工作,根本问题是给定不同相机位姿下的图像构建符合真实世界的3D世界,但多数方法依赖大量带位姿图像,位姿覆盖不足时重建区域充满不确定性。另一条是生成式AI,扩散架构天然适合多视角生成,但已有工作难以维持空间一致性,且每次去噪只对应固定目标视角,计算昂贵、无法实时。Atlas试图用一套模型架构和训练配方,将生成与重建统一在同一框架内。
据李飞飞介绍,Atlas是一个从零训练的自回归基础模型,单一模型接收文本、图像、视频、深度信号、灰度框或3D结构信号等多模态输入,输出像素帧。其核心目标函数是“下一视角预测”,团队将其概括为“视角即一切”(Viewpoint is all you need)。架构上,Atlas采用多视角自回归扩散Transformer,可在稠密重建、稀疏重建与纯生成之间自由切换:给定多张图像时做稠密重建;仅给一个文本提示时做纯生成并输出多帧视角一致的图像;只给极少量视角甚至单张图时,模型能估计相机位姿,再生成尽可能多的视角,重建并生成完整世界。
演讲中展示的案例涉及斯坦福校园主广场。给定两张有限图像,Atlas生成一个“神似”但并非真实的主广场;给8张图,模型基本给出广场全貌,但因输入中缺少纪念教堂而未能重建该建筑;给33张地面拍摄图像,模型不仅重建出完整广场,还生成了包括航拍视角在内的不同视角。李飞飞特别指出,这33张图均由人在行走中拍摄,模型生成了与输入完全不同的观察角度。
量化结果方面,李飞飞披露,一家事先不知情的第三方机构Rapidata用约50万次人工判断,对多个最先进视频模型进行相机控制生成的盲测,Atlas排名榜首并明显领先第二名。Atlas能生成超过60秒、视角一致的视频。在重建任务上,Atlas在深度预测任务中跨7个数据集测试,超过近期最先进的专用3D重建与深度预测模型;后置接上高斯泼溅表示后,在6个数据集上与专用模型比较高斯泼溅重建误差,同样达到SOTA水平。团队还调节输入视角数量,实现从稀疏重建到稠密重建的平滑过渡。
李飞飞在演讲中回顾了团队一年半前的上一代模型,当时生成范围和几何一致性有限,曾被批评“做的不是世界模型,而是closet models”。她表示,Atlas已经从一个受限的“橱柜”走进大得多的世界。除标准场景外,Atlas还能接收两张毫不相干的图像,估计合理相机位姿并补全场景其余部分,融合出跨场景的奇幻世界;也能根据灰度框输入生成完整场景,适用于机器人、设计和创意工作。在单图升维案例中,模型从一张输入图生成高斯泼溅世界,并同时输出深度信息,供艺术家控制相机视角。
从行业影响看,Atlas的定位并非单一的视频生成或3D重建工具,而是试图以统一架构覆盖世界模型的渲染与仿真能力。对机器人领域而言,这意味着在真实数据稀缺的长尾场景中,可通过模型生成高保真、视角可控的模拟环境用于训练与评估。随着World Labs并入AMD,Atlas后续在算力基础设施与芯片层面的协同进展,将成为观察世界模型能否规模化落地的重要变量。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。