Boltzbitとケンブリッジ大学、LLM向け動的重み書き込みを提案
Boltzbitとケンブリッジ大学の研究者らは、ハイパーネットワークを介してモデルの重みに知識を動的に書き込む手法を提案した。この「無限パラメータ」アプローチは、LoRA重みをその場で生成し、長文書やマルチターンシナリオにおいて、ターンごとの計算コストを一定に保ちながら従来手法を上回る性能を発揮する。
Boltzbitとケンブリッジ大学の研究者らは、ハイパーネットワークを介してモデルの重みに知識を動的に書き込む手法を提案した。この「無限パラメータ」アプローチは、LoRA重みをその場で生成し、長文書やマルチターンシナリオにおいて、ターンごとの計算コストを一定に保ちながら従来手法を上回る性能を発揮する。