研究により、ループ型および深さ方向に成長するモデルは文脈からより多くを学習することが判明

Ferdinand Kapl、Kaitlin Maile、Stefan Bauer、Johannes von Oswaldによる研究は、最大30億パラメータの言語モデルにおいて、深さ方向の計算再利用がインコンテキスト学習をどのように形成するかを調査した。成長型およびループ型モデルは、同じ深さの密な参照モデルよりも後続の文脈からより多くを獲得し、すべてのデモンストレーション数でGSM8Kにおいて高いスコアを記録し、未見の形式言語をより正確に予測し、制御されたタスクにおいてより早くインコンテキスト学習を獲得し、帰納ヘッドとしてランク付けされたアテンションヘッドにより依存していた。
イベントのバージョン 1.
Key insights
文脈からのより強い獲得
30億パラメータにおいて、成長型およびループ型モデルは、密なベースラインよりも大きな初期から後期へのトークン損失の減少を示し、すべてのデモンストレーション数でより高いGSM8K精度を記録した。また、RegBench上の未見の形式言語をより正確に予測し、その優位性は最初の文字列内で現れた。
より早い獲得とより強い保持
制御されたOmniglotタスクにおいて、両モデルタイプは、ラベルがシーケンスごとに再割り当てされた場合、密な参照モデルよりも早くインコンテキスト学習を獲得した。固定されたクラス-ラベル関連付けが重みにも保存され得る場合、それらはより高いインコンテキスト精度とより低いインウェイト精度を維持した。
帰納ヘッドが層を越えて伝播
訓練を通じてアテンションヘッドを追跡すると、深さ方向の成長が初期の帰納ヘッドを層を越えてコピーし、最終的な最強のヘッドのほとんどが少数の初期祖先に由来することが示された。ループ型モデルは、共有ブロックの適用全体にわたって同じ繰り返しパターンを示した。
帰納ランク付けヘッドへのより大きな依存
アブレーションにより、成長型およびループ型モデルは、少数ショット性能と後続トークン予測において、帰納ランク付けヘッドにより依存することが示された。関数ベクトルヘッドは、すべてのモデルにおいて少数ショット精度にとって最も重要なヘッドであり続けた。