面壁智能发布端侧多模态大模型 MiniCPM-V 4.7,35B-A3B 版本以 3GB 内存实现 13+ token/s 解码

35B-A3B 版本是首个支持端侧无损流畅运行的开源 MoE 模型,在 iPhone 17 Pro Max 上以仅 3GB 内存达到 13+ token/s 的解码速度。

10 月 13 日,面壁智能宣布推出新一代端侧多模态大模型 MiniCPM-V 4.7,提供 35B-A3B 和 1B 两种规格。其中 35B-A3B 是 MiniCPM-V 系列首个采用 MoE(混合专家)架构的模型,也是该系列目前参数规模最大的版本。

据官方介绍,MiniCPM-V 4.7 的 35B-A3B 版本基于最新 LES(前瞻专家调度)推理加速技术,成为首个支持端侧无损流畅运行的开源 MoE 模型。在 iPhone 17 Pro Max 上,该模型以仅 3GB 内存占用达到 13+ token/s 的解码速度。这一内存占用水平意味着模型可在主流旗舰移动设备上本地运行,无需依赖云端算力。

在平台适配方面,MiniCPM-V 4.7 同时支持 iOS、安卓和鸿蒙三大移动操作系统,并适配 Intel、AMD、Arm、瑞芯微、后摩等芯片平台。多平台覆盖使其可应用于更多移动设备与本地计算场景,包括手机、平板、PC 及边缘计算设备。

面壁智能同步开源了 Self-Replay Fine-Tuning(SRFT)微调方案,旨在帮助开发者以较低成本扩展模型能力并减少微调过程中的遗忘问题,便于二次开发与场景定制。

性能方面,官方数据显示,35B-A3B 版本在 Instruct 模式下,以更短的推理时间取得比 Qwen3.6 35B-A3B 更高的综合得分;1B 版本相比上一代 MiniCPM-V 4.6 持续提升基础能力,并在综合得分和推理效率上均显著领先 Qwen3.5 0.8B。

端侧大模型近年来成为行业关注重点。随着移动芯片算力提升和模型压缩技术成熟,将多模态大模型部署至终端设备的需求持续增长。端侧部署在数据隐私、响应延迟和离线可用性方面具备优势,但受限于内存、算力和功耗,如何在有限资源下保持模型能力与推理速度的平衡,仍是技术难点。面壁智能此次发布的 MiniCPM-V 4.7 在 35B 参数规模下实现 3GB 内存占用,为端侧 MoE 模型的工程化落地提供了新的参考方案。

面壁智能由清华大学自然语言处理实验室技术团队创立,此前已推出多代 MiniCPM 系列端侧模型。此次 35B-A3B 版本的发布,标志着该公司在端侧多模态模型领域向更大参数规模推进,同时通过 MoE 架构和推理加速技术控制资源占用。该模型的开源策略及多平台适配,预计将吸引开发者社区在移动端和边缘计算场景中进行更多应用探索。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
SK海力士发布SSD专用处理器架构H-TPU,功耗仅为传统CPU的2.5%
上一篇 10小时前
Precisely推出MCP服务器支持,将数据管理与客户通信能力接入AI智能体
下一篇 6天前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部