小米开源首个端到端空间音频理解大模型MiDashengLM-Spatial

小米表示,MiDashengLM-Spatial是业界首个开源的端到端空间音频理解大模型,在保留基础音频理解能力的同时,具备空间感知与推理能力,推动音频大模型从“听懂声音”进一步迈向“理解声音所处的空间”。

10月15日,小米宣布推出Dasheng系列新成员MiDashengLM-Spatial,完整公开模型权重和推理代码,并以Apache 2.0许可证发布。小米称,这是业界首个开源的端到端空间音频理解大模型,在保留基础音频理解能力的同时,具备空间感知与推理能力,推动音频大模型从“听懂声音”迈向“理解声音所处的空间”。

过去两年,小米在音频AI领域持续投入,先后发布并开源了声音基座模型Xiaomi Dasheng及声音理解大模型MiDashengLM-7B。相关技术已在小米智能家居、汽车座舱等场景实现超过30项落地应用,能够对语音、环境声音和音乐进行统一感知与理解。此次发布的MiDashengLM-Spatial以MiDashengLM-7B为基座,在此基础上进一步为声音理解大模型赋予空间听觉能力,使其不仅能够识别声音的内容,还能判断声音来自何处、如何在空间中分布。

从技术路径来看,空间音频理解与传统的音频分类或语音识别存在本质差异。传统音频模型主要处理单声道或立体声信号的内容维度,而空间音频理解要求模型同时解析声音的方向、距离、移动轨迹等空间属性。这意味着模型需要具备对多通道信号进行联合建模的能力,并在推理阶段输出与空间位置相关的结构化信息。小米此次开源的模型权重和推理代码覆盖了从信号处理到空间推理的完整链路,采用端到端架构,避免了传统方案中多模块串联带来的误差累积问题。

在应用层面,空间听觉能力的引入对智能家居和汽车座舱场景具有直接价值。以智能家居为例,具备空间感知能力的语音助手可以区分不同房间或不同方位发出的指令,从而更准确地判断用户意图,减少误唤醒和误响应。在汽车座舱中,空间音频理解可用于识别车内不同座位乘客的语音指令,实现分区交互;同时也能感知车外环境声音的方向和距离,为驾驶辅助系统提供更丰富的听觉感知维度。小米表示,该模型将陆续应用于上述场景,以空间听觉能力进一步提升“人车家全生态”的交互体验。

值得关注的是,小米选择以Apache 2.0许可证完整开源模型权重和推理代码。这一许可证允许商业使用、修改和分发,对企业级开发者和研究机构较为友好。在当前大模型开源策略分化的背景下,小米在音频垂直领域的持续开源动作,有助于降低空间音频理解技术的研发门槛,推动该方向从学术探索向工程落地加速迁移。此前,MiDashengLM-7B的开源已在音频理解社区形成一定影响力,此次空间版本的发布进一步扩展了开源音频模型的能力边界。

从行业视角看,空间音频理解正在成为音频AI领域的新兴方向。随着智能座舱、具身智能、AR/VR等场景对三维声场感知的需求增长,仅具备内容理解能力的音频大模型已难以满足复杂交互环境的要求。端到端空间音频理解模型的成熟,有望在机器人听觉、智能安防、远程会议等场景中打开新的应用空间。小米此次开源能否带动更多厂商跟进,将影响该技术方向的生态演进速度。

目前,MiDashengLM-Spatial的项目主页、技术报告、评估代码及模型权重均已公开,开发者可通过HuggingFace和GitHub获取相关资源。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
苹果首款智能家居中枢 HomeView 细节:同时显示九路监控、可当数码相框等
上一篇 1小时前
物理AI与端侧推理加速落地,芯片厂商面临带宽、延迟与综合平衡三道新考
下一篇 2026年9月28日 上午10:54

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部