Databricks CEOがAIリスク、RSI、企業導入について語る

DatabricksのCEO Ali Ghodsi氏は、AIの存在リスクはほぼゼロであり、再帰的自己改善(RSI)は4つの条件すべてを満たさないと主張した。また、脆弱性の武器化にかかる時間が数時間に短縮されたこと、コードの90%がAIによって作成されていること、企業導入の真のボトルネックは組織オントロジーの欠如であると指摘した。
Key insights
AI存在リスクはほぼゼロだが、現実的な脅威は存在する
Ali Ghodsi氏は、10%の絶滅確率で公衆を脅かすことは実際に害を及ぼすと主張した。同氏は存在リスクをAIによるサイバー攻撃などの現実的な脅威と区別した。また、「フロンティアに追いつく」というナラティブをPR上の誤りと批判し、安全性は速度の問題ではなくエンジニアリングの問題だと述べた。
再帰的自己改善は4条件テストを満たさない
Ghodsi氏はRSIの4つの条件として、計算コストの低下、トレーニング時間の短縮、知能の向上、サイクルの反復を提案した。同氏は4つすべてが誤りであると観察した。トレーニングコストは1億ドルから50〜100億ドルに上昇し、時間は短縮されておらず、失敗が頻発している。Martin Casado氏は、RSIと呼ばれるものの90%は、実際には汎用技術に共通する自己触媒効果であると付け加えた。
AI主導のサイバー攻撃が最も差し迫った短期的リスク
Ali氏は、CVE開示から武器化までの時間が2018〜19年の2〜3年から現在では数時間に短縮されたと指摘した。従来のSOCモデルでは不十分であり、自動検出と脅威ハンティングが必要である。同氏は、データ/AI市場とサイバーセキュリティ市場が収束しつつあると主張した。
企業AI導入のボトルネックは組織コンテキストの欠如
Ghodsi氏は、ほとんどの企業がAIを「高機能なGoogle検索+コード作成」程度にしか使っていないと述べた。真のボトルネックは、モデルが組織のコンテキストを持たないこと、つまり会議に参加しておらず、意思決定プロセスを把握していないことである。解決策は、概念、目標、部門、人々の関係を捉えるオントロジー(知識グラフ)である。
マルチモデルルーティングと予算管理によるコスト管理
Databricksは、予算制約、使用量アラート、コスト予測、インテリジェントルーティング(単純なタスクは低コストモデルへ)にUnity Gatewayを活用している。直感に反する発見として、同じモデルでも異なるハーネスでほぼ2倍のコスト差が生じることがある。トークン使用量は増加したが総コストは横ばいとなり、コスト曲線を押し下げた。