Boltzbitとケンブリッジ大学、動的ウェイト更新を備えた無限パラメータLLMを提案
研究者らは、ハイパーネットワークを用いてユーザー提供データをLoRAスタイルの重みに変換し、会話中にLLMの重みを動的に更新する手法を開発した。この「無限パラメータ」アプローチは、長文書やマルチターン対話において静的コンテキストを上回る性能を示し、1ターンあたりの計算コストは一定である。
研究者らは、ハイパーネットワークを用いてユーザー提供データをLoRAスタイルの重みに変換し、会話中にLLMの重みを動的に更新する手法を開発した。この「無限パラメータ」アプローチは、長文書やマルチターン対話において静的コンテキストを上回る性能を示し、1ターンあたりの計算コストは一定である。