智源研究院联合逆矩阵、北京大学、清华大学、北京航空航天大学推出悟界·PhysCapBench,这是首个覆盖第三人称场景、第一人称操作与手持夹爪示范三大领域,统一评测视频Caption物理信息的基准。该基准从视频描述入手,统一度量描述对物理信息的覆盖与保真,为描述策略选择、标注质量评估和训练数据优化提供跨领域的评测工具。
物理AI基模的核心是从真实经验中学习可迁移的物理规律,形成理解、预测和作用于物理世界的能力。真实世界数据中蕴含丰富的物理信息:互联网视频记录运动与环境演化,第一人称视角呈现手物交互,真机轨迹记录动作与状态响应,力触反馈补充接触力、滑移与形变。研究团队在预训练数据建设中观察到,现有Caption往往能概括场景与动作,却未能充分保留运动、接触、状态变化及其时序关系,语言表达的完整并不等于物理信息的完整。
悟界·PhysCapBench共包含1500段视频序列,三大领域各500段,对于多视角示范,同一次交互过程作为一段视频序列组织。基准从七个维度评价Caption,将整体质量落到具体信息类型,为描述策略选择与标注优化提供依据。在参考描述构建环节,七名专业标注人员参与标注与质量检查,流程从全局观察与事件定位出发,逐步梳理参与对象、动作过程、接触关系和状态变化,再对描述内容进行核验,确保描述能够在视频中得到证据支持。
除评测功能外,该基准还从视频生成与机器人策略两个方向验证物理描述的下游效用。视频生成方面,在固定生成模型、首帧与生成时长的条件下,物理描述在两个领域、两种生成模型上均带来改善,第一人称操作领域的LPIPS相对下降最高达到30.88%,PVCS相对下降最高达到28.09%。机器人策略方面,通过Training Instruction Upsampler补充视频中可观察的动作过程、接触关系与状态变化,在RoboTwin 2.0子任务受控实验中,π0.5在40个共享测试初始场景中的成功率由37.5%提升至45.0%,提高7.5个百分点;在RoboTwin与RoboDojo的多任务评估中,四种策略模型的所选任务平均成功率均有所提升。
随着世界模型与具身智能成为AI基础设施的重要方向,训练数据的物理信息密度与标注质量直接影响模型能力上限。悟界·PhysCapBench将预训练数据实践中的观察沉淀为可复用的评测框架,为多源真实数据转化为有效训练监督提供了量化依据,也为物理AI基模的数据建设提供了参考标准。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。