XNews

Boltzbitとケンブリッジ大学、「無限パラメータ」LLM手法を提案

Boltzbitとケンブリッジ大学の研究者らは、プロンプトのコンテキストウィンドウではなく、モデルの重みに直接知識を書き込む新たなLLM手法を提案した。軽量なハイパーネットワークがユーザーが提供するリアルタイムデータを動的にコンパイルし、低ランクのLoRA重みに変換する。この重みは会話中にベイズ機構を通じて進化する。この「無限パラメータ」アプローチは、長文書、複数の妨害要素、複数ターンの会話において、従来のコンテキストベース手法を上回る性能を示す。

Source posts