11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与团队成员在Reddit进行了一场持续120分钟的AMA(Ask Me Anything)问答活动,面向全球开发者回应关于混元大模型的各类问题。在问答中,团队就模型参数规模策略、后续训练计划及产品路线等问题作出回应。
有开发者提问称,字节跳动、Kimi等厂商似乎正在向3万亿甚至5万亿参数的超大模型推进,而混元目前仍维持在7000亿参数级别,原因何在,以及团队如何看待参数量对模型能力的实际影响。对此,混元团队回应称:“Hy3和Hy4已经表明,做得扎实的小模型也能超过更大的模型。它们的成本也更低,而且在这个过程中,你能学到更多、收获更多。”
不过,团队同时承认Hy4仍有较大的改进空间,尤其是在后训练环节。混元团队表示,目前正投入大量精力进行大规模强化学习,同时持续改善用户体验和模型安全,并计划训练更大规模的模型。这一表态意味着混元在参数规模路线上并未止步于当前水平,而是在小模型效率验证与大规模模型探索之间并行推进。
在具体模型规格方面,开发者询问是否有计划推出240亿至310亿参数的稠密模型,团队回应称“有可能,我们正在考虑”。对于是否发布对标Qwen 27B稠密模型的小模型,以及是否推出100B以下专门面向编程场景的模型,团队分别表示“第一个,有可能。第二个,大概不会”。上述回应勾勒出混元在稠密模型与垂直编程模型两条产品线上的差异化取舍。
公开资料显示,姚顺雨本科毕业于清华大学姚班,获普林斯顿大学计算机科学博士学位,2024年加入OpenAI并参与智能体产品Operator与Deep Research的开发。其研究聚焦语言智能体与现实世界交互,提出的ReAct方法首创“推理—行动”结合的智能体范式,被学术界与工业界广泛采纳。
在组织架构层面,腾讯于2025年12月升级大模型研发架构,新成立AI Infra部、AI Data部、数据计算平台部,全面强化大模型的研发体系与核心能力。姚顺雨出任“CEO/总裁办公室”首席AI科学家,向腾讯总裁刘炽平汇报,同时兼任AI Infra部、大语言模型部负责人,向技术工程事业群总裁卢山汇报。今年7月,腾讯宣布混元多模态模型部门与大语言模型部门合并,成立基础模型部,统一由姚顺雨管理,以提升模型研发和协同效率,探索全模态模型的智能上限。
从行业视角看,当前国内大模型厂商在参数规模上呈现分化态势:部分厂商押注超大规模参数以追求能力上限,另一部分则侧重小模型的效率与成本优势。混元团队此次表态显示其策略并非单一维度,而是在验证小模型性能的同时保留向更大规模扩展的路径。随着强化学习在后训练阶段的权重上升,模型能力的提升方式正在从单纯堆叠参数转向训练方法与数据质量的综合优化,这一趋势在混元后续模型迭代中的落地效果值得持续关注。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。