XNews

谷歌论文:训练后继续学习与嵌套记忆

谷歌论文:训练后继续学习与嵌套记忆

谷歌研究提出 LLM 无法在训练后持续学习的问题与解决思路,倡导将记忆从“快/慢”两档扩展为连续的时间与更新频谱(嵌套学习)。论文指出现有模型存在“训练后无法继续学习”的共同问题(数字失忆症)。提出“嵌套学习”概念:在快速记忆和慢速记忆之间建立连续频谱(不同时间尺度的记忆层次)。论文认为改变训练范式不仅要考虑规模,也要考虑时间与更新频率。作者与评论者均认为若有效将改变 AI 在使用过程中持续改进的方式。

Key insights

识别问题:训练后无法持续学习

谷歌论文指出,目前的 LLM 可以访问当前对话与预训练数据,但无法将新信息系统性并持久地整合到长期记忆中,研究者称之为“数字失忆症”,并将其视为阻碍 AI 在使用中持续改进的关键问题。

提出方案:嵌套学习的记忆频谱

论文提出“嵌套学习”方案,通过构建一个连续的记忆频谱(快—中—慢多个时间尺度)替代二分法式的短期/长期记忆,从而让模型能在不同频率上学习与固化信息,类似人脑记忆的梯度曲线。

方法学层面的新维度:考虑时间尺度

论文强调在 AI 设计中应把时间与更新频率作为与规模同等重要的维度,意味着模型不仅要更大、更深,也要具备按不同速度持续吸收与稳定新信息的机制。

Source posts