XNews

Meta AIのRAMチーム、継続学習エージェント向けの自己改善型メモリを発表

Meta AIのRAMチーム、継続学習エージェント向けの自己改善型メモリを発表

Meta AIのRAMチームは、モデルが自らメモリプロンプトを発見し、そのスキルを重みに学習させる2段階の手法「Self-Improving Memory」を発表した。Continual Learning Benchの3つのタスクにおいて、最適化されたプロンプトは平均56.0で、最良の手書きプロンプトの44.6を上回った。また、LoRAファインチューニング後、汎用プロンプトでは43.1を記録し、汎用実行で学習した場合の37.6を上回った。

イベントのバージョン 1.

Key insights

手書きのメモリ戦略は単一で全タスクを制覇できない

パイロット研究では、Database、Codebase、Spectrumの各タスクで4つの人間設計メモリ戦略を比較した。3つすべてで最良となる単一戦略は存在せず、モデルが独自のメモリ設計を発見する動機付けとなった。

ハーネス最適化がLOADとOFFLOADプロンプトを書き換える

メタエージェントはタスクの軌跡、スコア、最終メモリディレクトリを読み取り、メモリ使用が不十分な箇所を特定してLOADとOFFLOADのプロンプトを書き換える。新しいプロンプトはホールドアウトセットで評価され、スコアの高いバージョンのみがさらなる改訂のために保持される。

ハーネス蒸留がプロンプトの利得の一部を重みに移す

モデルは最適化されたプロンプトで実行され、その後プロンプトを汎用のものに戻しつつ応答は保持され、その結果に対してモデルがLoRAファインチューニングされる。テスト時に汎用プロンプトを使用した場合、蒸留されたモデルは43.1を記録し、自身の汎用実行でSFTした場合の37.6を上回った。

最適化プロンプトが手書きおよび汎用プロンプトを上回る

自動最適化されたプロンプトは3タスク全体で平均56.0となり、最良の手書きプロンプトを11.4ポイント、汎用プロンプトを19.9ポイント上回った。最大の利得はCodebaseで発生した。

探索は評価に依存して提案をフィルタリングする

完了した探索における44回の改訂のうち、37回は前回の最高スコアを超えられなかった。Codebaseのケースでは、メタエージェントは際限なく増大するサマリーファイルを観察した後、リポジトリパスと失敗ルールを保存する指示を追加した。

Source posts