XNews

DatabricksのAI戦略とGPT-6 Astra全面展開に関する観察

DatabricksのAI戦略とGPT-6 Astra全面展開に関する観察

DatabricksのCEO Ali Ghodsi氏は、AIによる実存的リスクはほぼゼロであり、実際の脅威としてAIを活用したサイバー攻撃などを挙げた。共同創業者Patrick Wendell氏は、GPT-6 Astraの全面展開によりコーディングコストが60%増加したが、複雑なタスクが改善され、予算に基づくモデルルーティングが導入されたと報告。同社は実験的な展開とコスト管理のためにゲートウェイを利用している。

Key insights

CEO、AIの実存的リスクを否定し、サイバー脅威を警告

DatabricksのCEO Ali Ghodsi氏は、AIによる実存的リスクは「ほぼゼロ」であり、一般市民を怖がらせることは実際の害を引き起こすと主張。非技術者へのパニックの広がりを例に挙げた。代わりに、現実の短期的脅威はAIを活用したサイバー攻撃であり、CVEから悪用可能なツールへの変換時間が2~3年から数時間に短縮されたと指摘。人間のSOCチームでは対応できないため、自動防御システムを呼びかけた。

「フロンティアのペーシング」というナラティブへの批判

a16zのパートナーMartin Casado氏は、Anthropicの「フロンティアのペーシング」という枠組みはPR上のミスだと批判。安全性は速度の問題ではなくエンジニアリングの問題であり、ラボは競争を続けているため信頼性がないと主張。正しい枠組みは「フロンティアの保護」であるべきだと述べた。Ghodsi氏は「コモンズの悲劇」の観点を追加し、競争やIPO圧力のため、どのラボも一方的に減速することはないと指摘。

再帰的自己改善(RSI)の4つの条件は満たされず

Ghodsi氏はRSIの4つの条件を提案した:(1) トレーニング計算量の低下、(2) トレーニング時間の短縮、(3) 知能の継続的上昇、(4) サイクルの繰り返し。しかし、彼は逆の現象を観察した:トレーニングコストは約1億ドルから50~100億ドルに上昇し、複雑性が増し、トレーニングの失敗が一般的になっている。Casado氏は、RSIと呼ばれるものの90%は実際には「自己触媒効果」であり、AIを使ってGPUカーネルを書いたりデータをクレンジングしたりすることは、汎用技術としては正常だと指摘。

GPT-6 Astra展開:コスト増加と能力分布

Databricksの共同創業者Patrick Wendell氏は、GPT-6 Astraの全面展開により全体的なコーディングコストが60%増加したと報告。能力向上は高複雑性タスク(システム設計、長期タスク)に集中しており、単純なタスクでは飽和のため改善が見られない。これは企業がモデルを全体的なベンチマークではなくタスク複雑性で評価すべきであることを意味する。コスト増加はジェボンズのパラドックスであり、より優れたツールがより多くの使用を促進する。

展開方法論:キュー実験と予算ルーティングを備えたゲートウェイ

Databricksは段階的な展開を採用:200人のパイロットで品質とコストのシグナルを収集し、その後3,500人に拡大。Unity Gatewayはモデル評価、カナリアリリース、予算管理のための統一インフラとして機能。新モデルはフィーチャーフラグのように実験的に導入される。予算はルーティングのインセンティブとして使用され、Astraには別のサブ予算があり、エンジニアが複雑なタスクにのみ高価なモデルを使用するよう誘導。エンジニアは総予算内でツールを混在させることができ、定期的なレビューが行われる。

企業AIのボトルネック:欠如した組織オントロジー

Ghodsi氏は、企業のAI導入における主な障壁は組織コンテキストの欠如だと指摘。ほとんどの企業はAIを「美化されたGoogle検索」とコード生成として使用している。解決策は、概念、部門、人、プロジェクト間の関係を捉えるオントロジー(知識グラフ)である。Databricksは数百万のノードを持つ独自のオントロジーを構築し、会社の運営を変革した。彼はオントロジーをGoogleのオフラインPageRankインデックスに例えたが、アクセス制御や異種オブジェクトのためより困難だと述べた。

コスト管理とマルチモデル戦略

DatabricksはUnity Gatewayを通じてコスト管理を実施:予算制約、使用量アラート、コスト予測、スマートルーティング(単純タスクは安価なモデルへ)。直感に反する発見として、同じモデルでも異なるエンジニアリングハーネスを使用するとコストがほぼ2倍異なる可能性がある。トークン使用量は増加したが総コストは横ばい。出現しつつあるパターンは階層型モデル使用:高価なモデルはアーキテクチャと監査に、安価なモデルは実装に使用。オープンソースモデルは支出の5%を占めるが、トークン量では60%以上を占める。

エージェント向けインフラ:エージェントのための推奨PostgresとしてのNeon/Lakebase

DatabricksはNeon/Lakebaseを買収し、サードパーティテストで「エージェント推奨のPostgres」となった。チームはエージェントを新しいペルソナとして最適化:サブ秒でのデータベース作成、巨大データベースのサブ秒クローン、ブランチング、障害安全性、実験に適した価格設定。現在、データベースインスタンスの90%以上が人間ではなくエージェントによって作成されており、エージェントを制する者が市場を制するというテーゼを強化している。

Source posts