2026年11月12日,在CoRL 2026“Learn@Deploy”(机器人部署中学习)半日研讨会上,清华大学交叉信息研究院助理教授徐梦迪以Keynote讲者身份做开场报告,系统阐述了构建可适应通用机器人的技术路径,并集中介绍了团队近期的三项研究成果。徐梦迪的核心判断是:构建通用机器人不能仅依靠扩大参数规模与数据规模、寄望预训练自然泛化,必须补上适应能力,让机器人在部署现场依靠少量新信息快速调整策略。
徐梦迪本科毕业于清华大学车辆工程专业,后在卡内基梅隆大学机械工程系攻读博士,师从Safe AI Lab负责人赵鼎,其博士论文《构建可适应的通用机器人》获得该系最佳博士论文奖。此后她进入斯坦福视觉与学习实验室,跟随吴佳俊、李飞飞从事博士后研究,期间完成ROSETTA项目,利用大模型将人类多样化的口语偏好转化为机器人可学习的奖励信号,使机器人能够执行训练阶段未见过的指令。2025年,徐梦迪加入清华大学交叉信息研究院组建实验室,研究方向进一步聚焦于“部署时学习”。
在报告中,徐梦迪指出人本环境下的机器人面临三类独特挑战:人类容易要求机器人完成超出其既有技能范围的任务;开放世界环境在多数情况下具备可观测性,机器人可从失败尝试中积累经验;不同人类个体的偏好差异显著,且同一人在不同时间的目标也可能变化。这些观察共同指向一个结论:机器人必须在部署时获取新信息以调整策略。她将部署阶段可获得的监督信号归纳为三类——由语言模型、视觉语言模型或独立验证器构成的智能体系统,人类直接交互反馈,以及仿真环境。
围绕上述判断,徐梦迪介绍了三项代表性工作。第一项工作聚焦视觉语言动作模型的对齐问题。团队观察到,即便是当前最先进的视觉语言动作模型,其指令遵循能力仍然有限。既有做法或通过改写指令扩充训练数据,或采用更大的视觉语言模型骨干,但前者无法覆盖部署时的全部人类指令,后者在学习动作生成时会导致严重遗忘。团队提出训练一个独立验证器,采用对比学习方式,并与视觉语言动作模型组合成对比验证框架:离线训练阶段生成困难正例与负例,部署阶段验证器先在指令层面筛选合理改写,再在动作层面对候选动作块打分,选择最优动作执行。实验数据显示,该验证器纯离线训练,部署时批量32仅增加约8毫秒延迟,约占整体延迟的1%;与将额外数据直接用于微调Pi 0相比,训练验证器并在部署时验证生成样本的性能提升速度快约7倍,分布内提升约20%,分布外提升约10%。该框架可插入不同类型的视觉语言动作模型。
第二项工作针对多样化人类指令的适应问题。团队开展了一项大型调查,让机器人与20名对机器人缺乏了解的不同用户交互,发现人类指令高度多样,且用户会在“机器人代入者”与“监督者”角色之间切换。团队的做法是利用视觉语言模型等智能体系统将人类偏好转化为奖励信号,再以强化学习训练智能体。实验表明,消除人类指令歧义是最关键的组件。徐梦迪提到,当前先进语言模型已具备类似的grounding机制,会先将模糊指令与当前场景及机器人执行状态关联。
第三项工作关注从人类演示中学习灵巧操作。人类视频包含丰富的行为与偏好信息,但存在形态差距与模态差距,触觉信息对人类操作至关重要,却难以从视频中直接获取。团队采用教师—学生架构,教师与学生均在仿真环境中训练,以仿真器为桥梁补齐接触信息,使机器人在部署推理阶段能够利用触觉信号。实验结果显示,缺少触觉信息时成功率至少下降10%,在灵巧操作场景中触觉的作用尤为关键。相关成果Dex-X入选CoRL 2026。此外,团队于2026年初发布的CoVer-VLA让机器人在行动前生成多组候选动作,再由验证器挑选最贴合指令的一组,同样服务于指令对齐目标。
从技术路线看,徐梦迪的研究将机器人学习的重心从预训练阶段的规模扩张,转向部署阶段的验证、交互与仿真补偿。这一思路对通用机器人落地具有直接意义:在开放环境中,机器人面对的长尾指令与个性化偏好无法被训练数据完全覆盖,部署时学习能力决定了系统的实际可用边界。随着验证器、智能体系统与仿真桥梁三类工具的成熟,机器人在现场持续适应而非一次性交付的范式正在形成。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。