谷歌DeepMind技术团队成员奥马尔·圣塞维耶罗(Omar Sanseviero)于11月17日在社交平台X发布实验成果,在仅占用14.1MB内存的条件下,成功让一台办公激光打印机运行2.7亿参数的Gemma 3 270M模型,单个词元输出耗时约60秒。该实验展示了在极端资源受限的嵌入式设备上部署小型语言模型推理的可行性。
根据披露的信息,圣塞维耶罗借助谷歌Gemini 4 Carbon模型完成了这一实验设计,核心思路是将小型Transformer推理引擎与量化后的模型编译成一个PostScript打印任务。整个计算过程完全发生在打印机内部,由打印机自身的CPU执行PostScript程序,推理结果随后交由打印机输出。实验没有修改理光打印机的固件,也未加装任何外部计算板或辅助硬件,而是直接利用打印机内置的PostScript解释器承担计算任务。PostScript原本是用于描述打印页面布局的页面描述语言,此次被复用为模型推理的执行环境。
为适配打印机极为有限的内存资源,实验并未一次性将完整模型载入内存,而是采用动态层加载方式,轮流将模型各层调入和移出内存。该方案运行时的峰值内存占用约为14.1MB。模型推理涉及18个Transformer网络层,整个流程在打印机内部闭环完成。
性能数据方面,在预填充(prefill)阶段,处理输入提示“Read the fine”耗时约184秒;解码(decode)阶段单个生成词元的耗时约为0.1秒,加上预填充时间,总计约184.1秒。需要指出的是,整体生成速度约为每个词元60秒,而非每秒60个词元。这一速度距离实用化仍有显著差距,但实验目标并非追求吞吐性能,而是验证在无固件修改、无额外硬件的条件下,通用办公外设能否承载神经网络推理。
Gemma 3 270M是谷歌此前发布的小参数模型,面向端侧和资源受限场景设计。此次实验进一步将部署边界推进至打印机级别的硬件环境。从技术路径看,该实验的意义在于验证了PostScript解释器作为通用计算载体的可能性,以及动态层加载策略在超低内存条件下的工程可行性。对于AI基础设施领域而言,这类探索为模型量化、内存调度和异构设备推理提供了参考样本,也提示了存量办公设备在算力利用上的潜在空间。
从行业影响看,在打印机、路由器等海量存量外设上运行轻量模型,短期内难以形成可用的产品形态,但相关方法对边缘计算和嵌入式AI的部署思路具有借鉴价值。随着小参数模型能力持续提升,如何在极低内存和有限算力的设备上完成推理,将成为端侧AI落地的重要课题。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。