XNews

ボルツビットとケンブリッジ大学、動的LoRA重みによる「無限パラメータ」LLMを提案

ボルツビットとケンブリッジ大学の研究者らは、LLMが長いコンテキストを再読する必要をなくすため、軽量なハイパーネットワークを介して知識を直接モデルの重みに書き込む手法を開発した。このハイパーネットワークは、ユーザーとの相互作用データを動的に低ランクのLoRA重みにコンパイルする。本手法は、長文書やマルチターン対話シナリオにおいて従来のプロンプトベースの読み取りを上回る性能を示し、ターンごとの計算コストは一定に保たれる。

Source posts