Boltzbit与剑桥大学通过动态LoRA权重推出无限参数大语言模型
Boltzbit与剑桥大学的研究人员提出了一种“无限参数”大语言模型,该模型通过超网络将用户输入动态编译为LoRA权重,从而绕过了固定上下文窗口的限制。该方法在长文档和多轮对话任务中超越了传统方法,且每轮计算成本保持恒定。
Boltzbit与剑桥大学的研究人员提出了一种“无限参数”大语言模型,该模型通过超网络将用户输入动态编译为LoRA权重,从而绕过了固定上下文窗口的限制。该方法在长文档和多轮对话任务中超越了传统方法,且每轮计算成本保持恒定。