XNews

Boltzbit提出通过超网络将知识写入模型权重

Boltzbit与剑桥大学研究人员提出了一种方法,利用超网络将用户提供的知识动态写入模型权重,取代静态上下文窗口。该方法被称为“无限参数”,可即时生成低秩LoRA权重,并采用贝叶斯机制进行实时适配。实验表明,在长文档和多轮对话中具有优势,且每轮计算成本恒定。

Key insights

当前LLM上下文窗口的局限性

当前的LLM在训练后冻结权重,用户不得不将新事实、修正或长文档输入上下文窗口。这要求模型每轮重新读取整个上下文,消耗大量GPU内存和计算资源,且对话结束后会遗忘所有内容。相关文章称这是长形式交互中的根本性低效问题。

基于超网络的动态权重更新解决方案

Boltzbit与剑桥大学提出使用轻量级超网络,将实时交互数据编译为低秩LoRA权重,从而绕过上下文窗口。这使模型能够将新知识临时写入其权重,类似于创建临时神经回路。贝叶斯机制使权重在对话过程中动态演化,在不增加每轮计算量的情况下提升理解能力。

无限参数概念与传统MoE的对比

该方法被称为“无限参数”,与从固定专家集合中进行选择的传统混合专家(MoE)形成对比。超网络从连续潜在空间中按需生成专用专家,实现无限制的权重生成。这使模型无需预定义专家池即可适应任意新输入。

实验结果显示在长上下文任务中的优势

三项核心实验验证了该方法。对于短文本,该方法的表现与从提示中读取相似。然而,在长文档、多干扰项场景和多轮对话中,它显著优于传统上下文窗口方法。模糊代词准确率随轮次单调提升,接近完美分数,而计算成本从第1轮到第100轮保持恒定。

Source posts