10月10日，星动纪元开放了VPP2的两套视频模型权重。VPP2将机器人学习一项操作的过程拆分为三个阶段：预测任务后续发展、将较长过程压缩为视觉规划、学习机器人动作。此次开放的是前两个阶段的模型权重。
在此之前两个月，围绕人类视频的机器人研究已密集展开。8月，Dyna Robotics公布了不同规模人类视频预训练对真实机器人任务的影响，Figure公开了大规模第一视角视频采集系统。9月，Skild AI尝试用一段人类视频向机器人说明新任务，Dyna则进一步研究同一经验如何跨越不同机器人身体。几家公司选择了不同的技术入口，但将人类视频放进了同一条训练链：扩大预训练规模、提示机器人任务目标、预测操作过程，再将视觉经验接入动作控制。
Dyna-2的转钥匙实验提供了规模对照。研究者准备四组模型，分别用1,000小时、1万小时、10万小时和100万小时的人类第一视角视频做预训练，随后接受相同的机器人任务训练。转动锁盒上的钥匙时，前三组均告失败，100万小时组测试10次成功9次。四组模型后续使用的机器人数据条件相同，每项任务不超过10小时。开锁是14项真机任务之一，该实验验证了一个假设：当后续机器人训练相同时，人类视频预训练的规模会改变结果。
真实机器人的示范数据难以像互联网文本那样快速扩大。一次示范需要机器人本体、操作者、场地和任务，记录下来的动作又与特定机器人的关节、夹爪、摄像头和控制方式绑定，换一副身体，同一条动作指令很可能失效。人类视频的优势在于更容易跨任务收集，画面可以记录手部移动方向、物体变化和操作顺序，从中提取的手部轨迹可为动作学习提供监督。
当人类视频成为训练资源，视频本身也开始被重新生产。Dyna-2使用经过组织和处理的第一视角操作记录并提取手部运动；Figure通过贡献者系统采集操作视频，筛选质量、平衡任务分布并添加文字标注；DreamZero的研究者则围绕特定任务录制短视频。这些系统都在提高视频与动作的关联，让画面看清手和物体，保留接触过程，并从中提取稳定的运动轨迹，与随手下载的网络视频有本质差别。
人类视频进入机器人系统后，至少承担三种不同的工作：学习动作会带来什么结果、说明当前任务、为动作训练提供经验。Dyna-2从人类视频中提取三维手部运动信息，一边学习预测动作，一边预测后续画面。在动作标注数据量相同的条件下，同时学习动作和未来画面的模型，在39项机器人任务的离线预测中全部优于只学习动作的模型。英伟达的DreamZero则让未来画面预测直接参与行动，围绕9项此前未见的任务补充了总共12分钟无动作标签的人类第一视角视频，追加训练后机器人平均任务进度从38.3％提高到54.3％。
清华大学与星动纪元的一项研究让视频直接告诉机器人要完成什么任务。模型观看人完成任务的视频，结合机器人面对相同场景的初始画面，生成机器人完成同一任务的过程，并将这种表示接入动作策略。该能力建立在两阶段训练之上，第一阶段使用超过25万段人类、机器人夹爪和灵巧手示范视频，第二阶段使用约7,000段人类与灵巧手视频。实验最终部署在xArm7机械臂与XHand灵巧手上。
智元团队参与的τ0-WM使用约27,300小时异构数据，其中3,000小时是人类第一视角视频，其余主要来自真实机器人遥操作和手持式交互设备。它让不同数据提供不同监督：人类视频监督未来画面，机器人数据同时监督未来画面和可执行动作，关节控制因此由机器人数据提供。VPP2则将任务过程交给视频模型，把具体控制留给后续动作学习。
三种工作处在同一条训练链上：人类视频扩大任务经验，机器人数据解决身体控制，动作模型和控制器完成最后的连接。这也解释了不同论文为何使用成功率、任务进度和离线预测等不同指标，它们测量的是训练链上的不同位置。真正的检验从视频开始影响机器人动作时才开始。DreamZero的烤箱任务留下了一次直接失败：模型生成的未来画面中，机器人先拿起面包，却遗漏了打开烤箱门的步骤，实际执行也沿着这个顺序发展，机器人拿着面包来到烤箱前，任务卡住。如何在“任务怎样发生”与“这副机器人怎样动”之间搭桥，仍是下一步需要回答的问题。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
