XNews

研究发现循环模型与深度生长模型能从上下文中学习更多

研究发现循环模型与深度生长模型能从上下文中学习更多

费迪南德·卡普尔、凯特琳·梅尔、斯特凡·鲍尔和约翰内斯·冯·奥斯瓦尔德的一项研究考察了深度方向上的计算复用如何影响参数量最高达30亿的语言模型中的上下文学习。与同等深度的稠密参考模型相比,生长模型和循环模型从后续上下文中获益更多,在每种演示数量下的GSM8K得分都更高,对未见形式语言的预测更准确,在受控任务中更早习得上下文学习能力,并且更依赖归纳排序的注意力头。

事件版本 1.

Key insights

从上下文中获得更强增益

在30亿参数规模下,生长模型和循环模型相比稠密基线表现出更大的早期到后期token损失下降,并且在每种演示数量下的GSM8K准确率都更高。它们在RegBench上对未见形式语言的预测也更准确,且优势在第一个字符串内就已出现。

更早习得与更强保持

在受控的Omniglot任务中,当标签按序列重新分配时,两种模型类型都比稠密参考模型更早习得上下文学习能力。当固定的类别-标签关联也可以存储在权重中时,它们保持了更高的上下文准确率和更低的权重内准确率。

归纳头跨层传播

通过训练追踪注意力头显示,深度生长会将早期归纳头复制到各层,大多数最强的最终头都源自少数早期祖先。循环模型在共享块的每次应用中都表现出相同的重复模式。

更依赖归纳排序的注意力头

消融实验表明,生长模型和循环模型在少样本性能和后续token预测上更依赖归纳排序的头。在所有模型中,函数向量头仍然是少样本准确率最重要的头。

Source posts