XNews

Boltzbit与剑桥大学推出大语言模型'无限参数'方法

Boltzbit与剑桥大学的研究人员提出了一种'无限参数'方法,利用超网络将用户交互数据动态编译为LoRA权重,实现对话过程中的实时权重更新。该方法在长文档和多轮对话中优于传统的上下文窗口方法,每轮计算成本恒定,并通过贝叶斯机制持续提升准确率。

Key insights

当前大语言模型上下文窗口的局限性

当前的大语言模型在训练后冻结权重,迫使用户将新事实、修正或长文档注入上下文窗口。每轮对话都需要重新读取整个上下文,消耗大量内存和计算资源,且对话结束后所有信息都会被遗忘。'无限参数'方法通过将知识写入权重而非提示词来解决这一问题。

用于动态权重生成的超网络与贝叶斯机制

该方法使用轻量级超网络将实时用户交互数据编译为低秩LoRA权重,并通过贝叶斯机制在对话过程中动态演化这些权重。这使得模型能够'临时写入其大脑',而非依赖静态上下文窗口,从而无需重置即可实现持续适应。

与传统混合专家模型(MoE)的比较

传统的混合专家模型从固定的64或128个专家模块中选择,将组合限制在有限的凸包内。相比之下,'无限参数'方法从连续潜在空间中按需生成定制化专家,产生无限的权重组合。这消除了离散路由约束,使模型无需预设专家边界即可适应任何输入。

实验结果:长文档与多轮对话的优势

三项核心实验表明,该方法在短文本上的表现不如直接读取提示词,但在长文档、多干扰项场景和多轮对话中全面优于传统方法。由于贝叶斯机制,准确率随轮次单调递增,尤其是对于歧义代词,而计算成本从第1轮到第100轮保持不变。

Source posts