エージェントハーネス設計とコスト効率

エージェントインフラに関する複数の分析は、ハーネス設計、コンテキスト品質、およびモデル経済性が現在の主要なボトルネックであり、生のモデル能力ではないことを強調している。コスト効率の高いハーネスパターン(オーケストレーター、アドバイザー、検証者)は、フロンティア知能を必要な箇所にのみ割り当て、実行の大部分に低コストモデルを使用することで、最大46%のコスト削減を実現する。Anthropicのプラットフォームチームは、モデルの改善に伴いエージェントの足場(スキャフォールディング)が薄くなり、焦点がエージェントの協調と個々のROI測定に移行していると指摘する。コンテキスト品質は極めて重要である。MCPがシステムを接続する一方で、断片化されたコンテキストはモデルにデータエンジニアリングを強いる。Gleanの統合インデックスとナレッジグラフはデータを事前結合し、コンテキストの好ましさを2.5倍向上させ、トークン使用量を30%削減する。Cursorのエージェントスウォーム実験では、高エントロピーな意思決定にのみフロンティアモデルを用いるツリー構造のプランナー・ワーカーアーキテクチャにより、複雑なタスクのコストを20,057ドル(全Fable 5)から1,339ドル(Opusプランナー+Composerワーカー)に削減でき、コンテキスト効率が重要なスケーリング要因であることが示された。調整コスト、プロンプトキャッシュヒット率、ガバナンスは設計上の重要な考慮事項である。
Key insights
コスト効率の高いハーネスパターンがタスクの非対称性を活用してコストを削減
3つのパターン——オーケストレーター(フロンティアが計画、低コストが実行)、アドバイザー(チェックポイントでフロンティアに相談)、検証者(フロンティアが出力を検証)——により、高い判断力が必要な場面でのみ高価なモデルを使用できる。実験では、機械学習実験設計においてFable単独の成果の約90%を34%のトークンコストで達成し、BrowseCompでは96%のスコアを46%のコストで実現した。鍵は、判断が本当に必要な箇所を特定することである。
モデル改善に伴いエージェントの足場(スキャフォールディング)が薄くなる
Anthropicのプラットフォームチームは、モデルがタスク分解やツール使用をより自律的に処理できるようになったため、エージェント周辺のオーケストレーション層が縮小していると観察した。開発者はすべてのステップを制御することから、複数のエージェントがどのように協調するかを設計し、チームに拡大する前に個人の生産性向上で成功を測定する方向にシフトしている。
真のボトルネックは接続性ではなくコンテキスト品質
MCPは接続性を解決するが、コンテキストはシステム間で断片化されたままとなり、モデルは実行時にデータ結合や重複除去を実行せざるを得ない。Gleanのアプローチは、統合インデックスとナレッジグラフを事前に構築し、事前結合されランク付けされたコンテキストを提供する。テストでは、Gleanのコンテキストは生のMCPツール出力よりも2.5倍好まれ、30%少ないトークンを使用した。
プランナー・ワーカーツリーによるスウォームアーキテクチャがコストを一桁削減
CursorがドキュメントからSQLiteを実装した実験では、強力なプランナーと低コストのワーカーによるツリー構造システムが、全Fable 5の20,057ドルに対し、Opusプランナー+Composerワーカーで1,339ドルで100%のテスト合格率を達成した。主なコストレバーは、ルート分解や設計選択といった高エントロピーな意思決定にのみフロンティアモデルの使用を制限することである。
調整コストとキャッシュ管理が効率性に不可欠
ハーネス設計では、境界の繰り返し(複数のモデルにまたがってトークンが複数回カウントされる)、ファンアウトの重複(ワーカーが同じ調査を重複して行う)、プロンプトキャッシュヒット率を考慮する必要がある。キャッシュの再利用が低いと、低コストモデルによる節約が打ち消される可能性がある。Cursorのスウォームでは、スプリットブレインやマージ競合などの障害モードも明らかになり、カスタムのエージェント対応バージョン管理システムが必要となった。
コンテキストエンジニアリングとガバナンスがエンタープライズエージェント展開の中心に
GleanのMCPゲートウェイは、コンテキスト品質を向上させるだけでなく、ソースレベルの権限、OAuthベースの認証情報処理、プロンプトインジェクションチェックも強制する。これは、セキュリティとデータアクセス制御が最重要となるエンタープライズにおけるMCPの拡張におけるガバナンスの課題に対処するものである。
モデル能力からインフラ設計への移行はAIエンジニアリングの成熟を示す
すべての投稿に共通するコンセンサスは、モデルの知能はもはや制約要因ではないということである。焦点はハーネス設計、コンテキスト統合、マルチエージェント協調、経済的最適化に移っている。これは、AIモデルの構築からAIシステムの構築への移行を反映している。