11月10日晚间,智元机器人通过官方公众号宣布正式发布WITA-Omni(硅光动语全模态大模型)。官方称其为行业首个具身全模态端到端交互大模型,定位是为物理世界打造的机器人“交互大脑”。
与以文本、图像、音视频为主要输入输出的通用多模态模型不同,WITA-Omni基于机器人本体感知数据进行深度训练,在音视频输入输出之外新增支持触觉、本体状态等输入,并可输出机器人动作、表情等具身行为。这意味着模型的能力边界从“理解与生成内容”延伸至“驱动实体完成交互”。
在交互时延方面,WITA-Omni采用流式全双工架构,可同时进行听、想、应、动与表情生成,减少传统串行处理链路中的等待环节。官方公布的数据显示,其交互响应最快约400毫秒、平均约600毫秒,较业内平均水平快近3倍。响应速度是具身交互能否走向自然对话的关键指标之一,此前多数机器人语音交互方案依赖“唤醒—识别—处理—播报”的串行流程,端到端时延普遍在秒级。
交互触发机制上,WITA-Omni引入全模态拒识能力,机器人交互不再依赖唤醒词,可全程自然对话。系统综合对话朝向、视频、音频、声纹、唇动、姿态、语义与上下文等信息,判断当前发言是否需要回应。在多人交谈或环境广播等干扰场景下,该机制可降低误触发概率,使机器人具备区分交互对象与背景噪声的能力。
语言能力方面,WITA-Omni支持上百种语言和方言的免切换自由交流,结合全双工架构实现流式同声传译,覆盖语言传译与方言传译,并支持双向互译。该能力若在机器人本体上稳定落地,将拓展服务机器人在跨境接待、多语种导览等场景的适用范围。
情感表现是此次发布的另一重点。WITA-Omni在倾听时可通过表情与头部动作给予回应;表达时结合参数化面部表情、声音与肢体动作,呈现开心、惊讶、激动、悲伤、满意、痛哭、认真、自信等数十种情绪,且每种情绪支持不同强度分级。此外,模型可将复杂内容在机器人面部屏幕实时可视化,在讲解产品、科普知识等场景中辅助表达。模型还具备持续感知环境与用户状态的能力,可在恰当时机主动发起互动,例如主动欢迎贵宾并伸手握手、对点赞作出回应、在用户挥手告别时挥手相送。
从技术路线看,WITA-Omni的核心思路是将感知、理解、决策与具身执行压缩进单一端到端模型,而非由多个独立模块拼接。这一路线对训练数据的多样性要求更高,也更能体现厂商在机器人本体数据上的积累。智元此前披露,今年7月,WITA-Omni Preview模型以85.21分综合成绩登顶DailyOmni全模态理解榜单,超过千问、Gemini、豆包、英伟达等国内外模型,并在八项细分指标中的六项位列第一。
具身智能的竞争重心正从本体硬件向“大脑”能力迁移。全模态端到端交互模型能否在真实场景中保持稳定的时延与拒识准确率,仍是衡量其工程化水平的关键。智元此次将交互响应压至数百毫秒级并取消唤醒词依赖,为服务机器人从“指令执行”走向“自然共处”提供了新的技术样本,其后续在量产机型上的实际表现值得持续观察。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。