XNews

Boltzbit与剑桥提出具有动态LoRA权重的无限参数大语言模型

Boltzbit与剑桥大学的研究人员提出了一种方法,将实时用户数据写入模型权重而非提示词。一个轻量级超网络将对话数据编译为LoRA风格的权重,并通过贝叶斯机制在对话过程中不断演化。该方法在长文档和多轮对话任务中优于基于提示词的读取方式,同时保持每轮计算量基本恒定。

Source posts