XNews

Boltzbit与剑桥大学提出“无限参数”大语言模型方法

Boltzbit公司与剑桥大学的研究人员提出了一种针对大语言模型的新方法,该方法将知识直接写入模型权重,而非提示上下文窗口。一个轻量级超网络能够动态地将用户提供的实时数据编译为低秩LoRA权重,这些权重在对话过程中通过贝叶斯机制不断演化。这种“无限参数”方法在长文档、多干扰项及多轮对话场景中均优于传统的基于上下文的方法。

Source posts