マイクロソフトのParetoSaddler、品質とコストのためにエージェントハーネスを最適化

マイクロソフトの研究者らは、中間候補の昇格と最終展開選択を分離することで、エージェントの品質とコストを同時に改善するハーネスオプティマイザー「ParetoSaddler」を発表した。ClawMarkでは品質が70.86%から81.35%に向上し、タスクあたりのコストが1.17ドルから1.01ドルに低下した。GAIA2では品質が56.22%から62.89%に向上し、コストが0.78ドルから0.45ドルに低下した。
イベントのバージョン 1.
Key insights
展開設定の早期適用
中間最適化ステップで展開設定を適用すると、後の改善に有用な候補ハーネスを時期尚早に却下してしまう。ParetoSaddlerは、中間候補の昇格と最終展開選択を分離することで、この不一致に対処する。
ベイジアンブートストラップによるパレート昇格
各イテレーションで、オプティマイザーは親ハーネスを編集して候補を生成し、両方を繰り返し実行し、ベイジアンブートストラップのパレートサポートを用いて、品質またはコストのいずれかで信頼できる進歩を示した候補を昇格させる。昇格した候補はより広範な開発評価を受け、親として利用可能なままとなる。
2つのベンチマークでの品質とコストの向上
ClawMarkでは品質が70.86%から81.35%に向上し、タスクあたりのコストが1.17ドルから1.01ドルに低下した。GAIA2では、ドメイン非交差分割を使用して、品質が56.22%から62.89%に向上し、タスクあたりのコストが0.78ドルから0.45ドルに低下した。
品質のみの最適化を上回る
パレート選択されたハーネスは、品質のみの最適化から得られたハーネスよりも低コストで高い品質を達成する。分析によると、パレートを意識した最適化は、展開設定では破棄されるが後の改善を支える中間候補を保持する。