NVIDIAのSoL-Pi、コーディングエージェントのトークン使用量を半減

NVIDIAの研究者らは、コーディングエージェント向けにハーネスレベルの最適化を発見する自動化パイプライン「SoL-Pi」を開発した。これにより、EdgeBench上でタスクスコアの94%を維持しつつ、トークン通信量を49%削減する4つのメカニズムが明らかになった。この最適化はモデルに依存せず、タスク間で転用可能である。
Key insights
SoL-Piがトークン節約メカニズムの発見を自動化
本システムは、6つのファミリーにわたる152の研究方向を探索し、3,000以上の実験と60,000以上のエージェント-環境インタラクションを実行し、最終的に4つのメカニズムを特定した。探索では、進化的過学習を防ぐために独立した検証が行われ、候補を固定した後、保持セットが1回だけ評価された。
4つのメカニズムが特定のトークン浪費パターンを標的に
Action Fusionは編集とテストを1回の呼び出しに統合する。Context Compactはサブタスク完了時のみ圧縮を行い、節約額がキャッシュ書き換えコストを上回るかを確認する。ObservationPackは大きな出力をローカルにアーカイブし、モデルにはハンドルと抜粋のみを提供する。Evidence Reducerは安価なモデルを使用してログを蒸留し、検証とフォールバックを備える。
SoL-Pi、スコア損失を最小限に抑え49%のトークン削減を達成
EdgeBenchの51の長期タスクにおいて、SoL-Piはスコアの約94%を維持しつつ、トークン通信量を49%、APIコストを約3分の1削減した。この最適化はOpus 5にも転用され44.7%の節約を達成し、モデル固有の癖ではなく浪費パターンを対象としていることを示す。スコア単価は0.586ドルから0.417ドルに低下した。