Meta于近日正式发布开放权重多模态模型Muse Spark Open。Meta方面称,该模型是目前美国最强大的开放权重模型。模型已上传至Hugging Face平台,采用开放权重方式对外提供。
从参数规模看,Muse Spark Open总参数量为8160亿,激活参数为420亿,属于稀疏混合专家(MoE)架构。模型支持100万Token上下文窗口,可处理长文档、多轮对话及大规模代码等长上下文任务。作为多模态模型,其输入输出能力覆盖文本之外的多种模态形式。
此次发布的一个技术看点在于对苹果生态的适配。Muse Spark Open利用了苹果最新版本的开源数组框架MLX,并针对苹果Apple Silicon的统一内存架构进行了优化。这意味着模型可以在搭载M5 Ultra芯片的Mac Studio上运行。M5 Ultra支持最大512GB内存容量,两台最高配置的Mac Studio即可容纳整个模型,相当于一台具备1TB统一内存的计算机。对于希望在本地部署大模型、又不愿依赖传统GPU集群的开发者而言,这一适配路径提供了新的选择。
开放权重模型的竞争在2024年以来持续升温。Meta此前通过Llama系列确立了在开放权重领域的位置,而此次Muse Spark Open将参数规模推高至8000亿级别,同时保持420亿的激活参数,在推理成本与模型能力之间寻求平衡。稀疏架构的采用使得单次推理仅需调用部分参数,有助于降低实际部署中的算力开销。Meta在公告中强调其“美国最强大开放权重模型”的定位,也反映出开放权重模型赛道的地缘竞争色彩正在增强。
从行业影响看,Muse Spark Open的发布对三类参与者具有直接意义。其一是本地部署需求较强的企业与研究机构,苹果统一内存架构的适配使其可以在相对低功耗的硬件上运行超大模型;其二是苹果生态的开发者,MLX框架的深度优化为基于Apple Silicon的AI应用开发提供了新的基础模型选项;其三是开放权重模型社区,8000亿参数级别的开放模型进一步抬高了该领域的参数门槛。
值得注意的是,模型的实际可用性仍取决于推理效率、量化方案及配套工具链的成熟度。8160亿参数即便采用稀疏激活,对内存带宽和存储仍有较高要求,两台顶配Mac Studio的硬件成本并不低。此外,开放权重并不等同于完全开源,其许可条款、商用限制及训练数据透明度等细节,将影响开发者的实际采用意愿。
Meta尚未披露Muse Spark Open的训练数据规模与具体评测成绩。随着模型在Hugging Face上线,社区评测与第三方基准测试结果将陆续出现,其在长上下文、多模态理解及代码生成等任务上的真实表现有待验证。对于企业服务与AI基础设施领域而言,开放权重模型的持续迭代正在改变模型选型与部署的成本结构,本地化、低功耗的推理方案或将成为下一阶段的重要方向。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。