Boltzbitとケンブリッジ大学、動的LoRA重みを持つ無限パラメータLLMを提案
ボルツビットとケンブリッジ大学の研究者らは、プロンプトではなくモデルの重みにリアルタイムのユーザーデータを書き込む手法を提案した。軽量なハイパーネットワークが会話データをLoRAスタイルの重みに変換し、ベイズ機構が対話中にそれらを進化させる。この手法は、長文書やマルチターン会話においてプロンプト読み込みを上回り、1ターンあたりの計算量をほぼ一定に保った。
ボルツビットとケンブリッジ大学の研究者らは、プロンプトではなくモデルの重みにリアルタイムのユーザーデータを書き込む手法を提案した。軽量なハイパーネットワークが会話データをLoRAスタイルの重みに変換し、ベイズ機構が対話中にそれらを進化させる。この手法は、長文書やマルチターン会話においてプロンプト読み込みを上回り、1ターンあたりの計算量をほぼ一定に保った。