Boltzbit与剑桥大学推出“无限参数”大语言模型
Boltzbit与剑桥大学的研究人员提出了一种“无限参数”大语言模型,其中轻量级超网络根据用户输入动态生成低秩(LoRA)权重,将新知识写入模型权重而非依赖上下文窗口。在长文档和多轮测试中,该方法在保持计算成本不变的同时,性能优于传统方法。
Key insights
“无限参数”的概念与机制
该方法使用一个超网络,将用户提供的实时交互数据动态编译为低秩权重更新(类似LoRA)。贝叶斯机制使这些权重在对话过程中不断演化,像滚雪球一样积累上下文。与固定专家集的传统MoE不同,该系统从连续潜在空间中即时生成新专家,使参数空间实际上无界。
相比传统上下文窗口的性能优势
在短文本场景中,该方法略逊于直接读取提示,但在长文档、多轮对话及存在干扰元素的场景中,它超越了传统方法。代词消解任务的准确率随轮次单调递增,接近完美分数。从第1轮到第100轮,每轮计算成本保持不变,而传统基于上下文的模型成本线性增长。
与现有方法的比较
该方法从根本上不同于上下文窗口扩展、检索增强生成或微调。它无需存储静态专家参数,而是按需合成专用模块。权重更新作为临时“神经回路”应用,无需完整重新训练即可动态调整。这使得模型能够在单次对话中学习新事实和修正。