腾讯混元Hy4大模型正式开源,770B参数MoE架构支持百万级上下文

至此,混元LLM系列完成全量开源,覆盖Hy3 preview、Hy3、Hy4 preview、Hy4及Hy4 flash等版本,形成从旗舰能力到低成本规模化落地的梯次布局。

腾讯混元团队于11月20日宣布,Hy4大模型正式开源,模型权重已在GitHub、Hugging Face、ModelScope和GitCode四个平台同步上线,开发者可自行下载部署。至此,混元LLM系列完成全量开源,覆盖Hy3 preview、Hy3、Hy4 preview、Hy4及Hy4 flash等版本,形成从旗舰能力到低成本规模化落地的梯次布局。

Hy4正式版最早于11月4日发布,本次开放的是此前预告的模型权重。该模型采用MoE混合专家架构,总参数规模770B,激活参数49B,上下文窗口突破100万Token。与旗舰版Hy4同步开放的还有主打性价比的Hy4 flash,其总参数约2200亿,其中包含约635亿Engram参数,每个Token仅激活约120亿参数,同样支持最高100万Token的上下文窗口,并支持文本与图像输入。

从参数配置看,Hy4与Hy4 flash构成明确的能力分层。旗舰版以770B总参数、49B激活参数面向对模型能力要求较高的场景;flash版本则通过更低的单Token激活参数量控制推理成本,面向需要规模化部署的业务。两者均支持百万级上下文,意味着在长文档处理、代码库理解等场景中具备直接落地条件。MoE架构的采用使模型在保持总参数规模的同时,将单次推理的计算开销控制在激活参数对应的水平,这也是当前大模型厂商在能力与成本之间寻求平衡的主流技术路径。

开源协议方面,Hy4及Hy4 preview采用Apache 2.0许可证,允许商业使用与修改。这一许可方式降低了企业用户在内部系统中集成和二次开发的法律门槛,对于希望通过私有化部署构建差异化能力的团队而言,具备较强的可操作性。模型权重同步上线四个平台,也覆盖了国内外开发者常用的模型托管与代码托管渠道。

腾讯混元同步发布了Hy4模型安全评估卡片(System Card),披露了网络安全与生物安全等维度的评估结果。据官方说明,Hy4训练数据仅纳入PoC生成、漏洞修复等防守性网络安全内容,剔除了漏洞利用、逆向工程与渗透等攻击性数据;腾讯玄武与科恩实验室的审计未发现明显的进攻性能力风险。在当前监管与行业自律对大模型安全能力提出更高要求的背景下,公开安全评估结果正逐渐成为头部厂商开源模型时的标准动作。

从行业影响看,混元LLM系列的全量开源意味着腾讯在大模型开源路线上的投入进一步明确。此前国内开源模型多以中小参数规模为主,770B级别的旗舰模型完整开放权重并允许商用,为企业在基座模型层面提供了新的选择。结合Hy4 flash的低成本定位,腾讯实际上给出了覆盖旗舰推理与规模化调用的组合方案,这对依赖API调用或私有化部署的企业服务厂商而言,可能影响其模型选型与成本结构。

随着权重在四个平台上线,围绕Hy4的微调、量化与行业适配工作预计将逐步展开。GGUF格式版本已同步提供,便于在本地环境运行。后续值得关注的是社区基于Hy4构建的垂直领域模型,以及企业在实际业务场景中对百万级上下文能力的调用方式与效果反馈。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
阿里云季度收入增长53%,平头哥2027年起承接大部分新增AI芯片供
上一篇 36分钟前
爱回收第三季度营收64.5亿元同比增长25.3%,存储涨价带动二手3C保值率提升
下一篇 25分钟前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部