谷歌提出“睡眠”框架：让大模型像人脑一样在离线“做梦”中巩固知识、持续进化

谷歌研究院提出一种受人类睡眠机制启发的“睡眠”框架，旨在解决大语言模型部署后知识静态化与持续学习中的“灾难性遗忘”问题。该框架让模型在“活跃（清醒）”与“睡眠”两种状态间周期性切换：清醒阶段，模型处理输入信息并将临时内容存入短期记忆组件；睡眠阶段则暂停接收新输入，将计算资源用于记忆巩固与自我提升。睡眠过程包含两个核心环节：一是“记忆巩固”，通过混合专家模块的参数扩展、知识播种（结合同策略蒸馏与基于强化学习的模仿学习）以及突触修剪，将脆弱的短期上下文信息转化为稳定的长期参数；二是“做梦”，通过随机专家激活、合成样本生成与基于梯度筛选的强化学习优化，构建自主自我提升循环。实验结果显示，该框架在满语、卡拉曼语等未见语言的持续翻译任务中实现近乎零性能下降，在BABILong基准上支持长达1000万token的上下文处理，表现优于GPT-4和Titans；在SQuAD事实知识整合任务中取得48.9%的成绩；在AIME 24/25和HMMT 25数学推理基准上分别取得79.2%、69.0%和46.1%的准确率，超过SFT、GRPO等基线方法。研究团队还提供了理论分析，阐明记忆巩固可视为结构化低秩压缩问题，“做梦”机制则通过改善学习几何结构支持更稳健的优化过程。

事件分析

核心观点：当大模型学会“睡觉”，静态预训练范式或将松动，AI开始拥有可自主进化的完整生命周期。