Boltzbit与剑桥大学提出具有动态权重更新的“无限参数”大语言模型
Boltzbit与剑桥大学的研究人员提出一种将知识动态写入模型权重、而不是将其塞入提示词的方法。一个轻量级超网络将用户交互数据转化为低秩(LoRA)权重,贝叶斯机制在对话过程中使这些权重不断演化。这种“无限参数”方法在长文档和多轮对话中优于传统方法。
Boltzbit与剑桥大学的研究人员提出一种将知识动态写入模型权重、而不是将其塞入提示词的方法。一个轻量级超网络将用户交互数据转化为低秩(LoRA)权重,贝叶斯机制在对话过程中使这些权重不断演化。这种“无限参数”方法在长文档和多轮对话中优于传统方法。