XNews

Boltzbitとケンブリッジ大学、『無限パラメータ』LLMを発表

Boltzbitとケンブリッジ大学の研究者らは、軽量なハイパーネットワークがユーザー入力から動的に低ランク(LoRA)重みを生成し、コンテキストウィンドウに依存せずにモデルの重みに新しい知識を書き込む『無限パラメータ』LLMを提案した。長文書やマルチターンのテストでは、計算コストを一定に保ちながら従来手法を上回る性能を示した。

Key insights

『無限パラメータ』の概念とメカニズム

この手法では、ハイパーネットワークがユーザーから提供されるリアルタイムのインタラクションデータを動的に低ランクの重み更新(LoRA類似)に変換する。ベイズ機構により、これらの重みは会話中に進化し、雪だるま式にコンテキストを蓄積する。固定されたエキスパートセットを持つ従来のMoEとは異なり、本システムは連続的な潜在空間からその場で新しいエキスパートを生成するため、パラメータ空間が事実上無制限となる。

従来のコンテキストウィンドウに対する性能上の利点

短いテキストのシナリオでは、本手法は直接的なプロンプト読み取りにわずかに劣るが、長文書、マルチターン対話、および注意をそらす要素があるシナリオでは、従来手法を上回る。代名詞解決タスクの精度はターン数に応じて単調に増加し、ほぼ完璧なスコアに近づく。1ターン目から100ターン目まで、1ターンあたりの計算コストは一定であり、従来のコンテキストベースモデルの線形増加するコストとは対照的である。

既存手法との比較

本手法は、コンテキストウィンドウの拡張、検索拡張生成、またはファインチューニングとは根本的に異なる。静的なエキスパートパラメータを保存する必要はなく、代わりにオンデマンドで専門化されたモジュールを合成する。重み更新は、完全な再学習なしで動的に調整される一時的な『ニューラル回路』として適用される。これにより、モデルは単一の会話中に新しい事実や修正を学習できる。

Source posts