在第九届进博会上，高通公司展出了一项端侧MoE（混合专家模型）智能体演示，该演示由高通与阶跃星辰、Infris AI、江波龙共同合作完成，围绕模型、推理、存储和芯片平台四个环节进行协同优化。高通公司AI产品技术中国区负责人万卫星在展会期间表示，终端侧AI经过过去三至四年的发展，正在迎来一个重要的变化节点。
万卫星指出，当前多数端侧AI应用仍偏向单点功能，如自动语音识别、文本摘要、图片处理和简单聊天机器人，主要解决具体任务。若要使终端完成意图理解、任务编排、实时操作目标App等系统级、规划类任务，需要更强的端侧模型能力。这意味着终端侧AI正从解决单一任务向更复杂的智能体体验演进。
在端云关系上，高通强调“端侧优先”与端云协同的“计算连续体”思路。传统云端AI服务每次推理均需消耗云端Token、GPU及调度资源，并依赖网络连接。将合适的AI能力部署到端侧，可减少网络依赖、提供更及时稳定的响应，并发挥终端在安全、隐私和个性化方面的优势。万卫星将云端比作“通用知识库”，端侧则拥有更多属于用户个人的“专业化知识”，二者相互协同而非替代。
MoE成为端侧AI重要技术方向的原因在于其运行机制。与传统Dense模型每次推理需运行全部参数不同，MoE将参数划分为多个“专家”模块，执行任务时仅调用相关部分。以30亿参数模型为例，若包含20个专家模块，单次任务可能只需调用其中2至3个。这一机制减少了单次推理实际运行的参数量，提升了模型效率。由于手机、PC等设备受内存和功耗限制，目前端侧主流运行20亿至30亿参数规模模型，MoE为在有限条件下部署更高智能水平的模型提供了技术路径。
端侧运行MoE模型面临两个实际工程问题：如何根据当前任务提前预测需要调用的专家模块，以及如何快速从存储中调用这些模块参与计算。DDR带宽是大模型推理的重要瓶颈，提前预取专家模块可减少等待时间。在此次演示中，阶跃星辰负责提升模型智能能力，Infris AI通过推理方案对专家模块进行提前预测和预取，江波龙优化专家模块从通用闪存存储到内存的加载效率，高通则围绕芯片平台和软件栈优化专家模块路由、预测和缓存环节。
高通方面表示，其在终端侧AI生态中的角色是提供能力底座，持续增强NPU等AI处理能力，并通过骁龙平台、全栈AI软件和开发工具与模型厂商、终端厂商及开发者协作。随着技术进一步发展，此次展示的意图理解、任务编排、实时操作目标App等能力，未来有望应用于手机、汽车、PC等不同终端。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
