XNews

AIエージェント導入におけるコスト最適化戦略

AIエージェント導入におけるコスト最適化戦略

Databricksは、大規模なAIコーディングコスト管理の戦略を共有し、広範なAIアクセスと一人当たりのコスト管理の間の緊張関係に対処した。中心概念は、効率フロンティア(知能対価格比が最適なモデル)と知能フロンティアを区別することである。4つのコストレバーが特定された。第一に、ワークロードを継続的に効率フロンティアモデルに移行すること。これは公開ベンチマークではなく社内評価で検証される。Stripeは品質と価格のミスマッチによりOpus 4.7を拒否した。第二に、動的リクエスト・タスクルーティングを実装し、システムが最も安価で十分なモデルを選択する。Databricksは最も高価なモデルと同等の品質を維持しながら30%以上のコスト削減を達成した。第三に、ハードバジェット(生産性を損なうためほとんど使用されない)ではなく、プログレッシブ・フリクション(リアルタイムの支出可視化、自動決済の支出ゲート、承認要件、モデルダウングレード)を用いる。第四に、コンテキスト圧縮、ハーネスの冗長性調整、タスク分解、プロンプトキャッシュ最適化によるトークン消費削減。Databricksは品質を損なわずにトークン量を約50%削減した。これらの機能には、集中モデル管理、コスト可視性、セッションログのためのAIゲートウェイが必要である。別途、Fable 5向けのコスト効率的なハーネス設計では、Orchestrator、Advisor、Verifierの3つのパターンが特定され、実験ではAdvisorパターンが単体性能の90%を34%のトークンコストで達成することが示された。境界重複やファンアウトオーバーラップによる調整コストは、節約とのバランスを考慮する必要がある。

Key insights

効率フロンティアは知能フロンティアよりも速く進歩する

1ドル当たりの最高の知能を提供するモデルはほぼ毎週改善される一方、絶対的な知能の進歩はよりゆっくりである。最大のコスト効果は、価格交渉ではなく、これらの効率フロンティアモデルに継続的に切り替えることから得られる。

動的ルーティングはトップモデル品質をわずかなコストで実現

リクエストレベルおよびタスクレベルで最も安価で十分なモデルに作業を振り分けるルーティングにより、Databricksの導入において最も高価なモデルと品質の同等性を維持しながら30%以上のコスト削減を達成した。

ハードバジェットは逆効果; プログレッシブ・フリクションがより効果的

アクセスを遮断すると生産性が損なわれ、最も支出の多いユーザーは往々にして最も生産的である。代わりに、リアルタイムの可視化、自動決済ゲート、モデルダウングレードによって、作業を妨げずにコストを管理する。

ハーネス設計パターンにより高価な知能の選択的使用が可能に

Orchestrator、Advisor、Verifierの各パターンにより、Fable 5の判断が価値を付加する場面にのみ適用し、より安価なモデルが実行を担当することができる。Advisorパターンは、事前計画よりも途中修正が重要となる探索タスクにおいて最も効果的であることが実証された。

Source posts