XNews

Boltzbitとケンブリッジ大学、LLM向け動的重み注入を提案

Boltzbitとケンブリッジ大学の研究者らは、ハイパーネットワークを介してユーザーデータをLoRA重みに動的にコンパイルする手法を開発した。これにより、固定された重みを使わずに継続的なコンテキスト進化が可能となる。長文書やマルチターン対話において、1ターンあたりの計算コストを一定に保ちながら、従来のプロンプトベース手法を上回る性能を発揮する。

Source posts