破晓智能联合天珑移动发布SeePhys Hub全身全模态数据采集系?

在破晓看来,下一步不是回到繁重的采集方式,而是在兼顾便携性与活动自由度的同时,补回关键的交互信息。

10月14日,具身智能企业破晓智能(PHANES AI)联合天珑移动发布全身全模态数据采集系统SeePhys Hub。该系统由四目头环、两个腕部手环、三个腰腿部动作追踪器及一副触觉手套组成,可同步采集第一视角视觉、手部全模态数据与全身运动信息,配套自研数据处理平台可将人类操作数据转化为面向机器人学习的多模态训练数据。

当前机器人数据采集正沿“解绑本体”路径演进,从遥操作到UMI再到Ego,采集设备持续轻量化。但设备简化过程中,部分关键交互信息随之流失。以Ego方案为例,其能记录双手操作画面,却难以完整捕捉全身运动,也无法感知手部接触物体时的压力变化,而这些被简化掉的交互信息往往构成任务执行的核心要素。

SeePhys Hub的推出正是针对上述数据缺口。整套系统在保留Ego便携性的同时,补回身体运动与接触数据。头部四目视觉实现360度环视覆盖,记录场景信息;腕部视角捕捉近距离操作细节;腰部与双小腿的动作追踪器记录身体位姿与受力;触觉手套采集双手接触压力。环境观察、身体运动与手部交互被同步纳入同一次操作记录。

硬件参数方面,头环重量不超过220克,单个腕部手环不超过75克,两类设备均支持连续24小时不间断采集。头环内相机、IMU与UWB的同步误差不超过0.5毫秒,便于对齐同一时刻的视觉与运动信息。

硬件采集之后,配套自研平台负责数据解析与清洗,将连续操作切分为动作片段并添加语义标注,同时衔接场景重建、全身姿态估计、手部动作追踪等流程。动作重定向模块则将人的动作映射至机器人本体,为后续策略训练与本体适配提供支持。

破晓智能此前围绕触觉数据展开系列研究。EgoTouch同步采集第一视角画面、双手姿态与压力分布,建立视觉操作与接触反馈的对应关系;TouchAnything学习从视觉中估计接触位置与压力分布,提供触觉数据扩展方法;TouchWorld则让触觉参与机器人行动,操作前预测接触目标,执行中依据真实反馈修正动作。SeePhys Hub是团队沿EgoTouch、TouchAnything、TouchWorld技术路线推出的首款工程化产品,将触觉数据与模型研究积累转化为可穿戴采集系统。

关于数据价值衡量,破晓智能提出,采集时长并不直接等于学习收益,数据质量、与机器人任务的匹配程度以及训练方式同样影响最终效果。团队希望验证的是,在视觉之外同步记录全身运动与触觉,更完整地呈现身体协同与手物接触过程,能否提高每小时数据的学习价值,使百万小时量级的全模态数据支撑预期的泛化能力。以铺床任务为例,人需要抓握被角、抬臂展开被子,再沿床边移动拉平褶皱,身体位置决定双手触及范围,抓握位置与力度影响布料展开方式,视觉为主的采集方案难以完整捕捉视野之外的躯干与腿部运动,也无法直接测得接触压力。

破晓智能由哈尔滨工业大学(深圳)计算机科学与技术学院长聘教授、博士生导师杨朔创办,致力于构建面向人形机器人全身移动灵巧操作的世界模型。团队90%以上核心成员毕业于清华大学、北京大学、香港大学、哈尔滨工业大学等高校,研究与实践覆盖全模态大模型、世界模型、大规模数据处理与硬件。

SeePhys Hub是破晓智能产品化路径的起点。团队更长远的目标是构建面向全身移动灵巧操作的世界模型,将身体运动、手部接触与环境变化放在一起建模,使模型能够预测机器人移动至新位置、调整身体姿态或改变接触方式后的结果,并结合执行反馈修正判断,为下一步动作提供依据。从触觉到全身,从交互数据到世界模型,破晓智能正尝试探索一条具身智能的原生路径。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
微软Defender正式支持Linux桌面发行版
上一篇 7小时前
Tensormesh推出企业级KV缓存管理平台,降低LLM推理成本
下一篇 6小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部