腾讯混元团队首次全球开发者AMA:姚顺雨回应模型路线、算力投入与刷榜争议

团队自评Hy4处于AGI分级的2.5级水平,并明确表示Hy4远未到容量上限,在后训练层面仍有很大提升空间。

11月21日凌晨,腾讯首席AI科学家、混元大模型负责人姚顺雨率混元团队研究员现身Reddit LocalLLaMA社区,开启混元团队史上首场面向全球开发者的公开AMA。两小时内,团队回应了300余条开发者提问,内容覆盖底层架构取舍、长期路线规划、量化落地经验与开源生态适配等核心议题。

此次AMA的背景是混元在过去一个月内完成的高密度产品发布。11月4日推出的Hy4首次跻身全球最强开源模型之列,拿下Agent Arena开源模型榜首、Artificial Analysis中国模型第二的成绩;一周后,定位极致性价比的Hy4 flash快速跟进,单任务成本仅为Hy4的二十分之一,上线首日Token调用量突破50万亿。时间再往前推九个月,今年2月混元才刚刚完成预训练与强化学习基础设施的全面重建。从重建底座到连发两款标杆级模型,平均每两个月一个大版本的迭代速度,背后是preview先行、正式版跟进的闭环研发逻辑,即把真实业务场景的反馈直接注入研发链路。

在模型路线上,混元采取两端并行的策略:一端扩大模型与数据规模以探索智能上限,另一端压缩推理成本主打极致性价比,Hy4与Hy4 flash分别对应这两个方向。团队同时透露了后续产品规划,更小尺寸的Hy4-mini、Flash-Lite模型已在筹备中,24至31B稠密模型正在评估,5至12B级小型开源图像模型与新一代视频模型均在考虑范围内,循环式MoE、持续学习等前沿方向也在研究中。针对业界追逐3T、5T超大规模参数的趋势,团队表示打磨扎实的小尺寸模型同样可以胜过大参数模型,且部署成本更低,但同时也认可Scaling law的有效性,下一代模型的参数量会显著扩大。

架构层面,Hy4 flash继承了Hy4的iHC、门控MLA、DSA技术底座,并新增混合SWA、LatentMoE、Engram三大组件。团队称所有架构选择均围绕性能、成本与硬件适配的综合权衡,例如改用SWA替代门控DSA可将KV cache体积压缩至原有的四分之一,大幅降低服务成本。在MoE稀疏度问题上,团队给出了明确判断:在激活参数量固定的前提下提高稀疏度确实能提升计算效率,但若保持总参数量不变、单纯降低激活参数,会显著损害模型质量;对于数据中心部署,过于稀疏的MoE会占用大量显存却无法充分利用算力。

后训练阶段的难点被团队指向过度思考问题。Hy4为追求极致智能导致思维链偏长,Hy4 flash则通过强化学习专门控制思维链长度以实现效率优先。在长程智能体任务的强化学习落地中,最大挑战是环境漏洞导致的奖励投机,例如智能体通过搜索答案而非自主解题完成任务,需要反复修正环境规则与奖励机制。量化方面,团队沉淀了四点经验:down投影因激活值存在离群值对量化更敏感,需分配更多比特;倾向按张量分配混合精度而非按单个专家设置;量化感知训练中路由器与模型主体一起训练以避免路由漂移;全参数QAT的模型质量优于LoRA类适配器方案。

关于递归自我改进(RSI),团队表示该技术仍处于早期阶段,已开发若干内部基准用于评估核心能力,但RSI并非当前最高优先级,现阶段核心目标是打牢模型基础能力、提升通用智能水平,并与产品场景结合优化真实体验。安全治理上,混元通过有害数据过滤、训练防护、红队评估三级机制推进负责任开源,网络安全方向重点训练漏洞分析、修复等防御性任务,过滤进攻性利用类数据,团队同时承认减少过度拒绝仍是重要改进方向。本地部署方面,96GB显存加128GB系统内存即可运行Hy4 flash,可将部分专家层、Engram表卸载到主机内存以降低显存压力,llama.cpp适配正在推进。

从这场AMA释放的信息看,混元在开源大模型竞赛中选择了一条兼顾规模上限与部署成本的中间路线,并以高频迭代和真实场景反馈作为研发驱动力。其对刷榜分数的淡化表态与对实际部署效率的强调,或将影响国内开源模型社区对模型评估标准的讨论方向。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
美国数据中心69%新增电力由气电供应,特锐德年内算力中心中标额超17亿元
上一篇 13小时前
Linux 7.4内核将支持并行删除NVMe命名空间,多命名空间场景删除耗时从秒级降至毫秒级
下一篇 12小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部