Databricks、内部AI導入の知見とコスト管理戦略を公開

DatabricksのCEO Ali Ghodsi氏と共同創業者P Wendell氏は、AI導入に関する広範な内部データを公開した。主なポイントとして、コードの90%がAIによって生成されていること、GPT-6 Astraへのアップグレードによりコストが60%増加したこと、そして真の企業向けボトルネックはモデルの能力ではなく「組織オントロジー」の欠如であるという主張が含まれている。
Key insights
AIの存亡リスクはほぼゼロ、サイバー脅威に注力すべき
DatabricksのCEO Ali Ghodsi氏は、AIの存亡リスクは「ほぼゼロ」であり、一般市民を怖がらせることは有害だと主張した。真の差し迫った脅威はAIによるサイバー攻撃であり、脆弱性の開示から悪用までの時間が数年から数時間に短縮されていると述べた。また、「フロンティアに追いつく」というナラティブは広報上の誤りであり、安全性は速度の問題ではなくエンジニアリングの問題であると批判した。
真のボトルネック:組織オントロジー
Ghodsi氏は、エンタープライズAIの主要なボトルネックはモデルの知能ではなく、「組織オントロジー」の欠如であると指摘した。オントロジーを、組織の概念、目標、部門、人々のデジタルマップと定義した。現在のエージェントは、長年在籍する従業員が持つ会議や意思決定のコンテキストを欠いていると主張した。Databricksは自社のオントロジー(数百万ノード)を構築し、それが同社の運営方法を「完全に変えた」と述べている。
コスト管理とマルチモデル時代
Databricksは具体的なコスト管理手法を公開した。予算制約、使用量アラート、インテリジェントルーティング(単純なタスクは安価なモデルへ)にUnity Gatewayを活用している。直感に反する発見として、同じモデルでも使用するハーネスによってコストに2倍の差が生じることが挙げられる。その結果、トークン使用量は増加しているが総コストは横ばいであり、「コスト曲線を曲げている」という。オープンソースモデルはトークン使用量の60%以上を占めるが、支出のわずか5%に過ぎない。
GPT-6 Astraの導入:能力向上とコスト増加
P Wendell氏は、DatabricksにおけるGPT-6 Astraの導入について詳述した。このモデルは、高複雑性タスク(システム設計、長期計画タスク)においてのみ従来のフラッグシップモデルを明らかに上回り、低~中程度の複雑性タスクでは認識できる改善は見られなかった。使用量増加により、エンジニアリング全体のコーディング支出は60%増加した。同社はゲートウェイベースの展開(200人のパイロットから3,500人へ)を採用し、Astra向けにサブ予算を設定して経済的なモデル選択を導いた。