XNews

Boltzbitとケンブリッジ、LLM向けの動的重み更新を発表

研究者らは、プロンプトではなくモデルの重みに知識を書き込む手法を提案し、ハイパーネットワークを用いて会話ごとにLoRAの重みを動的に生成した。このベイズ的メカニズムにより、モデルはコンテキストを繰り返し読み直すことなく継続的に適応できる。実験では、長文書やマルチターン対話、および1ターンあたりの計算コストが一定である状況で優れた性能を示した。

Source posts