加州大学伯克利分校与麻省理工学院的研究人员联合开发了FreeToken，这是一款开源的推理引擎，旨在提升混合专家（Mixture-of-Experts, MoE）模型在消费级硬件上的实用性与运行效率。该成果为边缘AI场景下的自托管推理系统提供了新的技术路径。
MoE模型通过将任务路由至不同的专家子网络，在保持模型容量的同时降低计算开销，但其权重参数规模往往超出消费级硬件的内存与算力限制。FreeToken通过实施动态调度策略，并根据当前负载和硬件状态实时分配计算资源，有效缓解了这一瓶颈。同时，该引擎对权重管理进行了优化，减少了推理过程中的内存占用和I/O开销，从而在有限的硬件条件下实现更快的解码速度。
在边缘AI应用中，推理效率直接关系到响应延迟和部署成本。FreeToken的开源属性意味着开发者和企业可以在本地硬件上运行原本需要更高配置才能支持的MoE模型，降低了对云端算力的依赖。这一特性对于数据隐私敏感或网络条件受限的行业场景尤为重要，如本地化智能助手、实时文档处理和嵌入式分析系统。
研究团队表示，FreeToken的设计目标是弥合前沿模型研究与消费级设备部署之间的差距。通过动态协同执行机制，该引擎能够在CPU与GPU之间灵活分配任务，进一步提升了硬件利用率。这一方向与当前企业服务领域对成本可控、本地化部署AI能力的持续需求相契合。
FreeToken的发布为开源推理工具链增添了新的选择，也为MoE模型在更广泛设备上的落地提供了实验基础。随着边缘计算和企业级AI应用的深化，类似的轻量化推理方案预计将成为推动模型普及的关键因素之一。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
