XNews

Boltzbit与剑桥大学提出无限参数大型语言模型

Boltzbit与剑桥大学提出一种方法,让大型语言模型通过超网络从用户输入动态生成低秩权重,而非依赖固定权重和上下文窗口。这种'无限参数'方法在长文档和多轮对话场景中优于传统方法,且每轮计算成本恒定。

Key insights

问题:固定权重与上下文窗口效率低下

当前大型语言模型在训练后权重固定。新信息、修正或长文档必须放入上下文窗口,每轮对话从头重新读取,消耗大量内存和计算资源。对话结束后模型会遗忘所有内容。这种方法在处理长文档和多轮对话时效率低下。

解决方案:超网络生成动态LoRA权重

所提出的方法使用轻量级超网络,将用户提供的实时交互数据编译为低秩(LoRA)权重。贝叶斯机制使这些权重在对话中动态演变,如同滚雪球般更新。这有效地将知识写入权重而非提示中,使模型能够在无需重读上下文的情况下'记住'信息。

无限参数:超越固定专家混合模型

传统的专家混合模型从固定数量的专家(例如64或128个)中进行选择,将组合限制在凸包内。无限参数大型语言模型不存储固定专家,而是根据输入数据从连续潜在空间中按需生成专门化专家。由于输入数据和潜在空间是连续且无界的,生成的权重也是无界的,因此称为'无限参数'。

实验结果:在长上下文和多轮对话中表现更优

三项核心实验表明,该方法在短文本上的表现不如直接阅读提示,但在长文档、多重干扰项以及多轮对话中全面优于传统方法。准确率随对话轮次单调递增,在代词消解任务上达到近乎完美的分数。由于只执行固定维度的内积更新,从第1轮到第100轮,每轮计算成本保持恒定。

潜在影响:高效长上下文与持久记忆

该方法可以大幅降低处理长文档和长时间对话的计算成本。通过动态更新权重,模型能够在无需线性增加内存使用的情况下维持上下文。这为大型语言模型在推理过程中持续学习(类似于人类记忆)提供了一条路径。

Source posts