Boltzbit、ハイパーネットワークによるモデル重みへの知識書き込み手法を提案
Boltzbitとケンブリッジ大学の研究者らは、ハイパーネットワークを用いてユーザーが提供する知識をモデルの重みに動的に書き込み、静的なコンテキストウィンドウを置き換える手法を発表した。「無限パラメータ」と称されるこの手法は、低ランクのLoRA重みをその場で生成し、ベイズ機構によりリアルタイム適応を実現する。実験では、長文書やマルチターン対話において優位性が示され、1ターンあたりの計算コストは一定であった。
Key insights
現行LLMのコンテキストウィンドウの限界
現在のLLMは学習後に重みを固定するため、ユーザーは新たな事実や修正、長文書をコンテキストウィンドウに入力せざるを得ない。これにより、モデルは毎ターン全体のコンテキストを再読する必要が生じ、GPUメモリと計算リソースを過剰に消費し、会話終了後はすべてを忘れてしまう。本記事では、これを長期的な対話における根本的な非効率性と指摘している。
ハイパーネットワークによる動的重み更新の解決策
Boltzbitとケンブリッジ大学は、軽量なハイパーネットワークを用いてリアルタイムの対話データを低ランクのLoRA重みに変換し、コンテキストウィンドウを迂回する手法を提案している。これにより、モデルは一時的に新たな知識を重みに書き込むことができ、あたかも一時的な神経回路を形成するかのように動作する。ベイズ機構により、会話中に重みが動的に進化し、1ターンあたりの計算量を増やすことなく理解度が向上する。
従来のMoEとの対比: 無限パラメータの概念
本手法は「無限パラメータ」と称され、固定されたエキスパート群から選択する従来の混合エキスパート(MoE)とは対照的である。ハイパーネットワークは連続的な潜在空間からその場で特化型エキスパートを生成し、無制限の重み生成を可能にする。これにより、モデルは事前定義されたエキスパートプールを必要とせず、任意の新しい入力に適応できる。
長文コンテキストタスクにおける実験結果の優位性
3つの中核実験により本手法が検証された。短いテキストではプロンプトからの読み取りと同等の性能を示したが、長文書、複数妨害要素を含むシナリオ、マルチターン対話においては、従来のコンテキストウィンドウ方式を大幅に上回った。あいまいな代名詞の正解率はターン数とともに単調に向上し、ほぼ完全なスコアに達した一方、計算コストは1ターン目から100ターン目まで一定であった。