XNews

無限パラメータLLM、知識を重みに書き込む

Boltzbitとケンブリッジ大学の研究者らは、ハイパーネットワークを用いてユーザーとの対話データを動的に低ランクのLoRA重みにコンパイルする手法を開発した。この「無限パラメータ」アプローチにより、モデルはプロンプトインジェクションなしで新しい事実を組み込むことができ、長文書やマルチターン会話において精度が向上し、1ラウンドあたりの計算コストは一定に保たれる。

Source posts