10月20日,蚂蚁百灵宣布开源Ming-3.0语音系列模型,包含语音合成、音频理解与对话、语音识别三个方向共五款模型。开发者可按任务单独选用,也可将不同能力组合进同一工作流。
语音合成方面,Ming-3.0-tts系列提供Voice Design能力,支持通过文字描述目标音色,也支持以参考音频设定音色。该系列还引入导演模式,创作者可说明台词的表演方式,描述情绪变化、重读词位置及节奏处理。据蚂蚁方面披露,Ming-3.0-tts已进入阿福App的主对话与语音通话、医生音色克隆、小虎智能办公等多类业务,既可独立承担配音,也可与Ming-3.0-asr-tiny组合,连接语音输入与回答播报两个环节。
音频理解与对话方向包括Ming-3.0-audio-flash与Ming-3.0-audio-tiny两款模型,支持对长音频直接进行转写、总结和观点分析等复杂理解任务,并输出结构化结果。相较传统先做语音识别逐字稿再分析的处理路径,该系列模型可保留对话中的情绪、说话人身份与环境信息,同时对长上下文序列的快速推理提出更高要求。
语音识别方面,Ming-3.0-asr-tiny通过构建普通话、英文、方言、领域热词等高质量语料并控制数据分布,结合语言模型基座的上下文理解能力,利用候选热词列表与对话上下文信息提升真实业务场景下的识别效果。该模型已在蚂蚁内部用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。
目前,开发者可通过Ling Studio在线体验Ming-3.0-audio-flash的音频理解与对话能力,Ling Studio同步提供Ming-3.0-tts-0.5B、Ming-3.0-audio-flash和Ming-3.0-asr-tiny的API服务。五款模型均已上线Hugging Face与ModelScope。此次开源意味着蚂蚁将语音全链路能力对外开放,企业开发者可在客服、医疗问诊、办公协同等场景中按需组合语音合成、理解与识别模块,降低多模型拼接的工程成本。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。