Boltzbitとケンブリッジ大学、LLM向け動的重み更新を提案
Boltzbitとケンブリッジ大学は、ハイパーネットワークとベイズ機構を用いて、知識をモデルの重みに動的に書き込む手法を開発した。この「無限パラメータ」アプローチは、低ランクのLoRA重みをその場で生成し、長い文書や複数ターンの対話において、従来のコンテキストウィンドウ方式を上回る性能を発揮する。
Boltzbitとケンブリッジ大学は、ハイパーネットワークとベイズ機構を用いて、知識をモデルの重みに動的に書き込む手法を開発した。この「無限パラメータ」アプローチは、低ランクのLoRA重みをその場で生成し、長い文書や複数ターンの対話において、従来のコンテキストウィンドウ方式を上回る性能を発揮する。