Google提出大模型持续学习睡眠框架

谷歌研究团队于 10 月 27 日发布博文，介绍名为睡眠框架（Sleep Framework）的持续学习研究成果，论文题为《Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories》。

今日博客：了解我们在持续学习中新增的“睡眠”阶段实例，它使大语言模型能够持续整合新事实并增强推理，同时缓解灾难性遗忘或静态知识截止的问题。 更多 →https://goo.gle/4iICkyD

Google 研究者提出面向大语言模型持续学习的 sleep 框架，让模型在活跃交互与离线巩固两个阶段之间交替，把短期上下文中的信息写入长期参数。离线阶段通过 MoE 参数扩展、知识蒸馏与强化学习模仿完成记忆巩固，再用随机专家激活生成合成样本进行自我改进。

入选理由Google 研究者提出让大模型在离线阶段巩固记忆的持续学习框架，并给出长上下文与推理基准上的对比结果，可供关注模型知识更新机制的研究者参考。