谷歌研究团队于10月27日发布一项名为“睡眠框架”（Sleep Framework）的持续学习研究成果，试图解决大语言模型在预训练完成后知识固化、难以吸收新信息的难题。相关论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》，已在Google Research平台公开。
谷歌在研究中指出，当前主流大模型在完成预训练后便进入相对静态的部署状态，其知识存在明确的“截止日期”。若依赖上下文学习，新信息会随会话结束而丢失；若直接用新数据反复微调，则容易引发“灾难性遗忘”，即模型在学会新知识后原有能力显著下降。这一矛盾长期制约着大模型在实际业务场景中的持续迭代能力。
谷歌的方案借鉴人类睡眠中的记忆巩固机制，将模型运行划分为“清醒阶段”和“睡眠阶段”。在清醒阶段，模型正常接收并处理输入，将信息暂存于短期记忆；进入睡眠阶段后，模型暂停处理新输入，转而进行记忆整合与自我改进。这一划分使模型能够在保持服务能力的同时，周期性完成知识的内化过程。
具体实现上，该框架包含两个核心环节。“记忆巩固”环节通过参数扩展、混合专家记忆块和知识蒸馏，将脆弱的短期上下文信息写入长期参数，同时避免覆盖既有知识；“做梦”环节则让模型生成并筛选合成训练样本，借助强化学习反复练习，以提升推理与泛化能力。两个环节共同构成模型在部署后的自我更新闭环。
实验数据显示，该框架在持续翻译、长上下文理解、事实知识吸收和数学推理等任务中优于多种基线方法。模型可处理最长约1000万token的上下文，并在未见语言的多阶段持续学习中保持接近零的性能下降；在AIME 24/25等数学基准上也取得更高准确率。
对大模型厂商和企业用户而言，持续学习能力直接关系到模型在垂直场景中的长期可用性。当前企业部署大模型时，普遍面临知识更新周期长、微调成本高、旧能力易退化等问题。谷歌此次提出的睡眠框架，为模型在部署后实现低成本知识更新提供了一种新思路，但其参数扩展与合成样本训练带来的额外算力开销，仍是实际落地时需要权衡的因素。
该研究目前仍处于实验阶段，尚未披露是否将应用于谷歌自有模型产品。若相关方法后续得到工程化验证，大模型的知识更新模式有望从“定期重训”转向“边用边学”，进而影响企业AI应用的部署与运维方式。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
