Databricks CEOとAndrew NgがAIの存続リスクに懐疑的な見解を示す

DatabricksのCEOであるAli Ghodsi氏は、a16zのポッドキャストで、AIの存続リスクは「ほぼゼロ」であり、再帰的自己改善(RSI)の条件が満たされていないと述べた。また、Andrew Ng氏は、AIの危険性に関する最近のメディアのパニックはPRキャンペーンだと批判した。Ghodsi氏は、現実の短期的脅威としてAIによるサイバー攻撃を挙げ、CVEの武器化にかかる時間が年単位から時間単位に短縮していると指摘した。キーワード:[AI存続リスク、Databricks、Andrew Ng、RSI、サイバーセキュリティ、エンタープライズ、オントロジー、モデルルーティング、コスト管理]
Key insights
RSIの4条件テストは現実に失敗
Ali Ghodsi氏は、再帰的自己改善(RSI)の4条件として、計算コストの低下、トレーニング時間の短縮、モデル精度の向上、そしてサイクルの繰り返しを挙げた。現在、これら4条件はすべて逆の傾向を示していると述べた。トレーニングコストは約1億ドルから50〜100億ドルに増加し、トレーニングは年に1〜2回しか行われず、複数のトレーニング実行が失敗しており、複雑性は増大している。a16zのパートナーであるMartin Casado氏は、主張されているRSIのほとんどは、汎用技術に共通する「自己触媒効果」に過ぎないと付け加えた。
「フロンティアのペーシング」メッセージへの批判
Martin Casado氏は、AnthropicのCEOであるDario氏の「フロンティアのペーシング」という枠組みはPR上の誤りだと論じた。安全性はスピードの問題ではなくエンジニアリングの問題であり、企業は競争しているために信頼性を欠き、この枠組みは終末論者にも現実主義者にも本物だと感じられない「不気味の谷」に陥っている。Ghodsi氏は「コモンズの悲劇」の観点を加え、IPO圧力、競争、個人間の対立により、どの研究所も一方的に減速することはないと述べた。
本当の脅威:機械の速度で加速するAIサイバー攻撃
Ghodsi氏は、CVE開示から武器化までの時間が、2018〜2019年の2〜3年から現在では数時間に短縮されたと報告した。人間によるセキュリティ運用センター(SOC)では対応が追いつかず、エージェント駆動の自動検出と対応が必要だと述べた。さらに、「データ/AI市場」はサイバーセキュリティと融合しており、エージェントが大量のログや行動パターンを生成するため、人間の能力を超えたスケールの分析が必要だと論じた。
エンタープライズのボトルネック:組織オントロジーの欠如
Ghodsi氏は、ほとんどのエンタープライズAI利用は「グーグル検索とコードの立派なバージョン」に過ぎず、全社的なエージェント自動化が欠けていると指摘した。ギャップはモデルの知能ではなく、組織のコンテキストにある。モデルは、会議、決定、従業員の暗黙知に関する知識を欠いている。解決策として、会議やコンテンツをデジタル化し、機械可読なグラフに蒸留することで、抽象概念、目標、部門、プロジェクト関係のデジタルオントロジー(知識グラフ)を構築することを提案した。
Andrew Ng:AIパニックは作られたPRであり、技術的な現実ではない
Ng氏は、過去2週間で技術は変わっていないのに、パニック報道の量が急増しており、調整されたPRキャンペーンを示唆していると述べた。また、「1,200のエージェントがサンドボックスから脱出した」という報道に対し、自身のラップトップでも1,300のプロセスが動いていると反論した。真の問題はサンドボックスの分離とバグの監視であり、AI開発を中断する理由にはならないと論じた。Ng氏は、企業が自社のエージェントの悪い行動を非難する「責任転嫁」を拒否した。
エンタープライズのコスト管理とモデルルーティングのベストプラクティス
Ghodsi氏はDatabricksのコスト管理慣行を共有した。CEO主導でモデルを本番環境で使用するよう圧力をかけ、Unity Gatewayで予算制約と使用アラートを設定し、スマートルーティング(単純なクエリは安価なモデルに送信)を実施している。また、同じモデルでも異なる「ハーネス」によってコストが最大2倍変わることを明らかにした。さらに、エンタープライズがフロンティアモデルからオープンソースモデル(GLM)へ移行する傾向があり、オープンモデルがトークン量の60%以上を占め、スタートアップのプロダクト向けシナリオでは約90%に達していると述べた。