北京时间11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨与混元团队研究员出现在Reddit的r/LocalLLaMA社区,进行了一场持续两小时的AMA(Ask Me Anything)答问。这是混元团队首次在开发者社区公开回应提问,共收到三百多条留言,话题覆盖模型架构取舍、训练基础设施、量化方案与安全评测等多个层面。
此次答问的背景是混元在不到一个月内的两次模型发布。11月4日发布的Hy4首次进入全球最强开源模型行列,在第三方评测机构Artificial Analysis的智能指数榜单上位列中国模型第二,在Agent Arena榜单上居开源模型首位。一周多之后发布的Hy4 flash定位为日常工作的性价比模型,单任务成本仅为Hy4的二十分之一。从今年2月混元重建预训练与强化学习基础设施算起,两次发布间隔约九个月。
据团队介绍,2月重建时确立了三项原则:能力体系化,不做偏科模型;评测真实性,以真实任务而非榜单分数检验模型;性价比追求,让智能用得起。此后平均每两个月迭代一个大版本,以preview先行、正式版跟进的方式将真实使用反馈引入研发。Hy4与Hy4 flash对应两条路线,前者扩大模型尺寸与数据规模以探索智能上限,后者压缩成本以覆盖日常任务。团队在答问中确认,下一代Hy模型的规模一定会进一步显著扩大。
针对开发者提出的字节跳动、Kimi等公司推进3T甚至5T参数超大规模模型而混元仍处于700B级的问题,团队回应称,Hy3和Hy4已经表明,做得扎实的较小模型往往可以胜过更大的模型,且成本更低。产品线方面,Hy4 mini已在路线图上,35B-A3B档位的Flash-Lite被确认在推进,更小的开源图像模型在考虑之中。团队判断,激活参数约30亿的A3B模型已能承担理解截图与图表并展开推理的任务。路线图还包括循环式MoE与持续学习,前者得到”当然有可能”的回应,后者正在积极研究。训练基础设施方面,Hyra 3.0已在开发中。
架构选择上,团队披露了选择MLA而非GQA的权衡过程。MLA计算强度明显高于GQA,在推理GPU上做推测解码时瓶颈会落在算力上,但相同KV cache大小下MLA的模型质量更优。引入DSA之后,解码阶段计算强度下降,权衡天平随之倾斜。Hy4 flash的另几项设计延续同一思路:SWA将KV cache降至原来的四分之一,配合将64B Engram参数卸载到主机内存,128GB以上配置即可流畅运行激活参数12B的模型。
关于稀疏度,开发者列出对比数据:Hy4 flash不含Engram为156B总参数、激活12B,激活比例7.7%,高于Qwen3.8-Flash的4.8%和DSv4.1的2.9%。团队基于规模阶梯实验回应称,激活参数量固定时提高稀疏度能提升计算效率,但保持总参数不变、单纯削减激活参数会显著损害模型质量,因为激活参数量本质上决定计算预算。过于稀疏的MoE架构对推理并不友好,占用大量显存却无法充分利用算力。量化方案上,down投影因激活值存在离群点对量化更敏感,会被分配更多比特,位宽依据Hessian敏感度选择,量化后路由器随QAT一同训练以保持稳定,团队更倾向全参数QAT。
被问及后训练阶段最难改善的行为,团队回复为”过度思考”。Hy4追求智能上限,思维链过长是已知问题。解法是将Hy4的长思维链蒸馏为高性价比的Hy4 flash,再通过强化学习为后者确保较短的思维链。对于写作能力,团队承认创意写作与可读性非常重要并正在重点改进,同时注意到大模型写作能力普遍退化的现象,认为可能与训练目标有关,希望模型输出更像人类、少一些套路化表达。关于递归自我改进能力,团队表示为时尚早,但已开发若干内部基准评估关键能力,并按Levels of AGI分级给出2.5级的自评。
研发过程方面,团队回忆从Hy3扩展到Hy4是最困难的时刻,数据消融实验未达预期,训练开始时充满不确定性。安全层面,混元在训练中过滤了以漏洞利用和进攻攻击为主的网安数据,配合训练层面的拒答防护并开展红队评估。团队评估结论是Hy4漏洞发现能力较强、漏洞利用能力相对较弱,过度拒绝仍是重要改进方向。生态适配方面,llama.cpp的适配正在推进,与vllm、sgl的合作也在深入,Hy4与Hy4 flash已在OpenCode、Claude Code和Cline中被广泛使用。有开发者现场反馈,Hy4 flash在其内部智能体编程与PR审查基准上成为首个满分模型。对于未公布GPQA Diamond、SWE Bench等常见基准成绩,团队解释称这些基准推出较早、分数已饱和,其展示的是Agents’ Last Exam、ProgramBench等更新且难度更高的基准。
从两小时答问呈现的优先次序看,混元团队的路径是先打牢基础、让模型在真实任务中更好用,再持续探索能力边界。团队亲口承认的未解问题——过度思考、创意写作、递归自我改进——构成了下一次迭代的路线图。对开源模型赛道而言,这场答问也显示竞争维度正从榜单分数扩展至真实任务表现、使用成本与生态适配的综合较量。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。