XNews

Boltzbitとケンブリッジ大学、ハイパーネットワークに基づく無限パラメータLLMを発表

Boltzbitとケンブリッジ大学の研究者らは、LLMの新しい手法を提案した。この手法は、トレーニング後に重みを固定するのではなく、軽量なハイパーネットワークを介してユーザーとの対話データを低ランクの重みに動的に変換する。ベイズ機構により、これらの重みは会話中に進化し、継続的なパラメータ生成を可能にする。実験では、この手法が長文書、複数妨害要素、および複数ターン対話タスクにおいて、従来のプロンプトベースの手法を上回る性能を示した。

Source posts