無限パラメータLLMが知識を動的に重みに書き込む
Boltzbitとケンブリッジ大学の研究者らは、ハイパーネットワークを用いてユーザーデータからLoRA重みを生成し、コンテキストウィンドウへの依存を排除する「無限パラメータ」LLMを提案した。これにより、マルチターン精度が向上し、計算量は一定に保たれる。
Boltzbitとケンブリッジ大学の研究者らは、ハイパーネットワークを用いてユーザーデータからLoRA重みを生成し、コンテキストウィンドウへの依存を排除する「無限パラメータ」LLMを提案した。これにより、マルチターン精度が向上し、計算量は一定に保たれる。