Boltzbitとケンブリッジ大学、無限パラメータLLMを提案
Boltzbitとケンブリッジ大学は、LLMがユーザー入力からハイパーネットワークを用いて低ランク重みを動的に生成する手法を提案した。固定重みやコンテキストウィンドウに依存するのではなく、この「無限パラメータ」アプローチは、長文書やマルチターンシナリオにおいて従来手法を上回り、ターンごとの計算コストは一定である。
Key insights
問題:固定重みとコンテキストウィンドウの非効率性
現在のLLMは学習後、重みが固定される。新しい情報、修正、長文書はコンテキストウィンドウに配置する必要があり、ターンごとに最初から再読み込みされ、多くのメモリと計算を消費する。会話が終了するとモデルはすべてを忘れる。このアプローチは長文書やマルチターン対話には非効率である。
解決策:ハイパーネットワークが動的LoRA重みを生成
提案手法は、軽量なハイパーネットワークを使用して、ユーザーが提供するリアルタイムの対話データを低ランク(LoRA)重みにコンパイルする。ベイズ機構により、これらの重みは会話中に動的に進化し、雪だるま式に更新される。これにより、知識をプロンプトではなく重みに書き込むことができ、モデルは文脈を再読み込みせずに「記憶」できる。
無限パラメータ:固定混合専門家モデルを超えて
従来のMoE(混合専門家モデル)は、固定された専門家セット(例:64または128)から選択し、組み合わせが凸包に制限される。無限パラメータLLMは固定専門家を保存せず、代わりに入力データに基づいて連続潜在空間からオンデマンドで専門家を生成する。入力データと潜在空間は連続かつ無制限であるため、生成される重みも無制限となり、故に「無限パラメータ」となる。
実験結果:長文脈とマルチターンで優位
3つの主要実験により、本手法は短いテキストでは直接のプロンプト読み取りに劣るが、長文書、複数の妨害要素、マルチターン対話では従来手法を包括的に上回ることが示された。精度はターンごとに単調増加し、代名詞解決ではほぼ完璧なスコアに達する。ターン1から100まで計算コストは一定であり、固定次元の内積更新のみが行われる。
潜在的な影響:効率的な長文脈と永続記憶
このアプローチは、長文書や長時間の会話を処理する計算コストを劇的に削減する可能性がある。重みを動的に更新することで、メモリ使用量を線形に増やすことなく文脈を維持できる。人間の記憶のように、推論中に継続的に学習するLLMへの道を提供する。