XNews

Boltzbitとケンブリッジ、LLM向け「無限パラメータ」手法を発表

Boltzbitとケンブリッジの研究者らは、ハイパーネットワークを用いてユーザーの対話データを動的にLoRA重みにコンパイルし、会話中にリアルタイムで重みを更新できる「無限パラメータ」手法を発表した。この手法は、長文書や複数ターンの対話において従来のコンテキストウィンドウ手法を上回り、ターンごとの計算コストは一定で、ベイズ機構により精度が向上する。

Key insights

現在のLLMコンテキストウィンドウの限界

現在のLLMはトレーニング後に重みが固定され、ユーザーは新しい事実や修正、長文書をコンテキストウィンドウに注入せざるを得ない。これにより、毎ターンコンテキスト全体を再読する必要があり、過剰なメモリと計算を消費し、会話終了後はすべてを忘れてしまう。「無限パラメータ」手法は、プロンプトではなく重みに知識を書き込むことでこの問題に対処する。

動的重み生成のためのハイパーネットワークとベイズ機構

この手法は、軽量なハイパーネットワークを用いてリアルタイムのユーザー対話データを低ランクのLoRA重みにコンパイルし、会話の進行に伴ってベイズ機構がこれらの重みを動的に進化させる。これにより、モデルは静的なコンテキストウィンドウに依存するのではなく、一時的に「脳内に書き込む」ことが可能となり、リセットなしで継続的に適応できる。

従来のMixture-of-Experts(MoE)との比較

従来のMoEは、64個または128個の固定エキスパートモジュールのセットから選択し、組み合わせを有限の凸包に制限する。対照的に、「無限パラメータ」は連続的な潜在空間からオンデマンドで特注のエキスパートを生成し、無制限の重みの組み合わせを実現する。これにより、離散的なルーティングの制約が排除され、モデルは事前定義されたエキスパート境界なしに任意の入力に適応できる。

実験結果:長文書と複数ターンでの優位性

3つの中核実験により、この手法は短いテキストでは直接プロンプト読み取りに劣るものの、長文書、複数妨害シナリオ、複数ターンの対話において従来手法を総合的に上回ることが示された。ベイズ機構により、特に曖昧な代名詞に対してターンごとに精度が単調に向上し、ターン1から100まで計算コストは一定である。

Source posts