XNews

Boltzbit とケンブリッジ大学、動的ウェイト更新で「無限パラメータ」LLMを開発

Boltzbit とケンブリッジ大学の研究者らは、ハイパーネットワークを用いてユーザーとの対話から LoRA ウェイトを動的に生成する手法を発表した。これにより、モデルは文脈のみに依存するのではなく、「知識をウェイトに書き込む」ことが可能となる。本アプローチは長文書や多回転対話において従来手法を上回る性能を示し、1回の対話当たりの計算コストは一定である。

Source posts