XNews

ボルツビットとケンブリッジ、動的LoRA重みによる無限パラメータLLMを発表

ボルツビットとケンブリッジの研究者らは、ハイパーネットワークを介してユーザー入力を動的にLoRA重みに変換する「無限パラメータ」LLMを提案し、固定コンテキストウィンドウを回避する。この手法は、長文書やマルチターンタスクにおいて従来のアプローチを上回り、ターンごとの計算コストは一定である。

Source posts