Boltzbit与剑桥提出通过超网络对大语言模型进行动态权重注入
来自Boltzbit和剑桥的研究人员提出了一种方法,通过超网络将用户提供的上下文动态编译为低秩LoRA权重,使大语言模型能够将知识写入权重而非依赖上下文窗口。该方法在长文档和多轮对话中展现出更高的准确性,且每轮计算成本恒定。
来自Boltzbit和剑桥的研究人员提出了一种方法,通过超网络将用户提供的上下文动态编译为低秩LoRA权重,使大语言模型能够将知识写入权重而非依赖上下文窗口。该方法在长文档和多轮对话中展现出更高的准确性,且每轮计算成本恒定。