ContextPilot:8Bモデル、32Kコンテキストで128Kの自己学習を凌駕――アクティブメモリ管理による実現

清華大学、テンセントYouTu Lab、上海AI Labの研究者らは、エージェントがコンテキストを能動的に管理することを可能にするフレームワーク「ContextPilot」を発表した。本フレームワークは、計画立案、長期記憶、ソフトオフローディングツールを追加する。SFTデータはQwen3.5-397B教師モデルを用いて合成され、32K未満の約3,000の軌跡にフィルタリングされた。中核となるRL手法では、コンテキストを考慮した部分ロールバックにより探索予算を重要な編集アクションに割り当て、さらにスナップショットのすべての継続から得られるスコアを平均化する細粒度のクレジット割り当てを採用する。ContextPilot-8B-RLは長文書QAで平均69.4を記録し、128KウィンドウのQwen3-8B(45.9)を上回り、StateLM-8B-RLを3.6ポイント上回った。難易度の高いタスク(BrowseComp+ +5.3)ではさらに大きな改善が見られた。アブレーション実験では、長期記憶が最も貢献し、細粒度のクレジット割り当てが最も効果的なRL改善であることが示された。