XNews

Boltzbit与剑桥大学推出基于超网络的无限参数大语言模型

Boltzbit与剑桥大学的研究人员提出了一种大语言模型新方法,该方法通过轻量级超网络动态将用户交互数据编译为低秩权重,而非在训练后固定权重。贝叶斯机制使这些权重在对话过程中能够进化,从而实现连续参数生成。实验表明,该方法在长文档、多干扰项及多轮对话任务中优于传统的基于提示的方法。

Source posts