XNews

Boltzbitとケンブリッジ:ハイパーネットワークによるLLMの動的重み更新

Boltzbitとケンブリッジ大学の研究者らは、ハイパーネットワークを用いてLLMの重みに動的に知識を書き込む手法を提案した。事実をコンテキストウィンドウに詰め込む代わりに、軽量なハイパーネットワークがユーザーのインタラクションを低ランクのLoRA重みに変換し、会話中に進化させる。このアプローチは、長文書やマルチターン対話において従来手法を上回る性能を示した。

Source posts