Databricks、AIコーディングコストを大規模に制御する4つのコスト対策を提案

トークン費用の高騰を受け、DatabricksはStripe、Coinbase、Uber、Rampと協力し、「効率フロンティア」、すなわち知能と価格の最適なバランスを実現するモデルを定義。幅広いAIアクセスとユーザー単位のコスト管理を両立させる。4つの対策は以下の通り。(1)内部評価で検証されたオープンソース・低コストモデルへの移行。(2)動的なリクエスト・タスクルーティングにより、品質を損なわずに30%以上のコスト削減。(3)厳格な予算制限ではなく、段階的な制御(可視化、トリップワイヤー、モデルダウングレード)の導入。(4)コンテキスト圧縮によるトークンオーバーヘッドの削減(トークン量を約50%削減)。AI Gatewayにより、モデル管理、コスト追跡、セッションログを一元化。DatabricksはOmnigentとUnity AI Gatewayをオープンソース化した。