XNews

Boltzbit与剑桥大学提出具有动态LoRA权重的‘无限参数’大语言模型

Boltzbit与剑桥大学的研究人员开发了一种方法,通过轻量级超网络将知识直接写入模型权重,该超网络动态地将用户交互数据编译为低秩LoRA权重,而无需让大语言模型重新读取长上下文。在长文档和多轮对话场景中,该方法优于传统的基于提示的阅读方式,同时保持每轮计算成本不变。

Source posts