Boltzbitとケンブリッジ大学:LLMの動的ウェイト更新
Boltzbitとケンブリッジ大学の研究者は、プロンプトではなくモデルの重みに知識を書き込む手法を開発した。ハイパーネットワークがユーザーとの対話からLoRA重みを動的に生成し、再学習なしで継続的な学習を可能にする。実験では、長文書やマルチターン会話において、計算コストを一定に保ちながら精度が向上することが示された。
Boltzbitとケンブリッジ大学の研究者は、プロンプトではなくモデルの重みに知識を書き込む手法を開発した。ハイパーネットワークがユーザーとの対話からLoRA重みを動的に生成し、再学習なしで継続的な学習を可能にする。実験では、長文書やマルチターン会話において、計算コストを一定に保ちながら精度が向上することが示された。