XNews

Boltzbit与剑桥大学推出具有动态LoRA权重的“无限参数”大型语言模型

Boltzbit与剑桥大学的研究人员提出了一种新方法,将知识写入模型权重而非提示词中,利用轻量级超网络动态地将用户交互数据编译为低秩(LoRA)权重。一种贝叶斯机制使这些权重能够在对话过程中演化,从而在长文档和多轮场景中实现更高精度,同时保持每轮计算成本不变。该方法在长上下文任务中优于传统方法,但在短文本场景中表现不佳。

Source posts