XNews

Boltzbitとケンブリッジ大学、動的LoRA重みを用いた「無限パラメータ」LLMを発表

Boltzbitとケンブリッジ大学の研究者らは、プロンプトではなくモデルの重みに知識を書き込む新たな手法を提案した。軽量なハイパーネットワークを用いて、ユーザーとの対話データを動的に低ランク(LoRA)重みに変換する。ベイズ機構により、会話中にこれらの重みが進化し、長文書やマルチターンシナリオにおいて高い精度を達成しつつ、1ターンあたりの計算コストは一定に保たれる。この手法は長文脈タスクでは従来手法を上回るが、短文シナリオでは優位性は見られない。

Source posts