SoL-Pi:Nvidiaのトークン節約技術

Nvidiaの研究者らは、コーディングエージェントのハーネス層を最適化し、トークン消費をほぼ半減する技術「SoL-Pi」を開発した。この手法は、アクション融合やコンテキスト圧縮などの4つのメカニズムから構成され、自動研究パイプラインを通じて発見され、51の長期タスクで検証された。
Key insights
SoL-Piはハーネス層を最適化しトークン効率を向上
NvidiaのSoL-Pi技術は、モデルではなくハーネス層を最適化することで、コーディングエージェントのトークン使用量を削減する。プロセスレベルの無駄を特定・排除し、トークントラフィックを49%削減、APIコストを3分の1削減する。この手法は、152の研究方向と535の環境をテストした自動研究パイプラインを通じて発見された。
厳格な選別を経た4つのメカニズム
SoL-Piの4つの生き残ったメカニズムは、Action Fusion、Context Compact、ObservationPack、Evidence Reducerである。これらは3000回以上の実行と6万回のエージェント・環境相互作用から選ばれ、過学習を防ぐ厳格な受け入れ基準を通過した。これらの技術はモデルに依存せず、タスク間で転用可能である。