腾讯混元开源同声传译大模型Hy-SimulMT,实测响应约3秒、支持实时音色克隆

在能力定位测评中,Hy-SimulMT在翻译质量上达到人类同传专家水平,速度更快、时延更低。

腾讯混元于10月26日发布并开源同声传译大模型Hy-SimulMT,该模型支持中英语音到语音实时翻译,具备低时延与高准确率特点。用户音频可实时输入模型,模型边听边译,同步输出译文与语音,并支持实时音色克隆,以还原说话人的声音与语气。该模型已在腾讯Hy翻译App首发,免费提供服务体验,相关代码与模型权重已在HuggingFace、ModelScope及GitHub公开。

低时延是Hy-SimulMT的核心指标之一。官方实测显示,该模型响应时间约为3秒,而人类专业译员的平均水平在4至5秒。在业界常用的长音频开源评测集RealSI上,Hy-SimulMT在StreamLAAL延迟指标(衡量模型输出译文相对输入音频的延迟秒数,数值越低越好)与翻译质量(由GPT6.1-Sol打分,数值越高越好)两个维度上,于最低延迟区间取得开源模型中的最佳效果,并称超过大多数商用同传API。短音频测试集上,该模型同样表现出较好结果。

为更准确评估模型真实水平,腾讯混元团队在合规允许范围内收集了互联网上新出现的中英文音频,覆盖软件与AI、医学、制造能源、自然科学、农业食品、商务管理、法律、教育、文化文旅、体育生活共十个领域,涉及演讲、访谈、会议等多种场景。团队在该数据集上同时测试Hy-SimulMT与人类同传专家,后者共6位,其中3位持有CATTI一级口译证书、3位持有CATTI二级口译证书,均具备多年同传实战经验。对比结果显示,Hy-SimulMT在翻译质量得分上高于人类同传专家,且时延更低。

从技术路径看,语音到语音的同传模型需要同时处理语音识别、机器翻译与语音合成三个环节,并在此过程中控制延迟。传统级联方案将三个独立模块串联,误差逐级累积且延迟叠加;端到端同传模型则在单一模型内完成听、译、说,压缩了流水线耗时。Hy-SimulMT在此基础上加入实时音色克隆,使输出语音保留说话人特征,这一能力在远程会议、跨国直播、在线教育等场景中具有直接应用价值。

开源策略是该模型的另一看点。同声传译长期被视为机器翻译中难度较高的方向,商用同传API多由少数厂商提供且价格不低。腾讯混元将模型开源,意味着开发者与企业在合规前提下可自行部署与二次开发,降低实时翻译能力的接入门槛。结合其在腾讯Hy翻译App的免费开放,腾讯混元在产品侧与开发者生态侧同步推进,试图以开源换取使用规模与场景反馈。

需要指出的是,官方测评数据来自团队自建数据集与内部评测流程,模型在真实会议环境中的噪声鲁棒性、专业术语准确性以及多语种扩展能力,仍有待更大范围的第三方验证。当前Hy-SimulMT仅支持中英互译,与覆盖多语种的商用同传服务相比,语言覆盖面尚有限。

从行业影响看,实时语音翻译正成为大模型厂商竞争的新方向。低时延端到端同传模型的开源,可能推动会议软件、出海企业服务、跨境客服等场景的翻译能力升级,也将对现有商用同传API的定价与服务模式形成压力。后续值得关注的是该模型在多语种、垂直领域术语适配以及端侧部署上的进展。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
英特尔CEO陈立武透露已与AMD苏姿丰就潜在合作展开对
上一篇 4小时前
网易《逆水寒:新世界》将推“自拍模式”,可自定义动作、邀请 AI 门客 NPC 合照
下一篇 3小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部