XNews

AIリーダーら、AIパニックと終末論に反論

AIリーダーら、AIパニックと終末論に反論

DatabricksのCEOであるAli Ghodsi氏は、AIの実存的リスクをほぼゼロと評価し、真の短期的脅威はAIによるサイバー攻撃であり、脆弱性の武器化にかかる時間が数時間単位にまで短縮されていると指摘した。Andrew Ng氏は、このパニックの波はPR主導のものであり、誇張された1,200エージェントの侵害件数やOpenAIのサンドボックスの欠陥を例に挙げた。

Key insights

実存的リスクはほぼゼロと評価

DatabricksのCEOであるAli Ghodsi氏は、a16zのポッドキャストでパートナーのMartin Casado氏とSarah Wang氏と対談し、AIの実存的リスクはほぼゼロであり、リーダーには十分な理由なく公衆を恐怖に陥れる責任はないと述べた。また、人類絶滅確率10%という警告を繰り返すことは、実際の心理的・社会的害を引き起こすと主張した。ゲストらは、こうした恐怖が政治的に利用されており、AI開発の一時停止を求める声を例に挙げ、Ghodsi氏は実存的リスクとすべてのリスクを区別し、AI主導のサイバー攻撃を真に緊急の脅威として特定した。

フロンティアのペーシングはフレーミングの誤りと指摘

Martin Casado氏は、AnthropicのCEO Dario氏の文書内容は完全に合理的だが、それを「フロンティアのペーシング」と位置づけたことは三つの点でPR上の誤りだと判断した。すなわち、安全性は速度とは直交しており、武器はゆっくりでも速くでも作れること、研究所が全速力で稼働し、さらに計算資源を購入している中で要請に信頼性が欠けること、終末論者は不誠実として拒否し、現実主義者は不十分として拒否する不気味の谷に陥っていることである。同氏は、正しいフレーミングとして「フロンティアの保護」を提案し、最近のOpenAIやHugging Faceのセキュリティ事件を、減速ではなく統制の根拠として挙げた。

再帰的自己改善の主張は4条件テストをクリアせず

Ghodsi氏は、再帰的自己改善に対して反証可能な4条件テストを提案した。すなわち、次世代学習に必要な計算量が大幅に減少する、学習時間が短縮される、モデルの知能が向上し続ける、そのサイクルが持続可能に繰り返される、の4つである。同氏は、現実はこれらすべてにおいて逆であり、フロンティア学習コストは約1億ドルから50〜100億ドルに上昇し、参加者が増え、エンジニアリングの脆弱性が指数関数的に増大し、年間1〜2回の学習実行、複数の失敗例が記録されていると結論づけた。Casado氏は、RSIと呼ばれるものの90%は、コンピュータがコンピュータを設計するような自己触媒効果であり、Databricksのコードの90%以上が現在AIによって書かれていると付け加えた。

AIサイバー攻撃が真の短期的リスクとして警告

Ghodsi氏は、具体的な短期的脅威としてAI主導のサイバー攻撃を特定し、CVE公開から武器化までの期間が、2018〜19年の2〜3年から2022年の8〜9ヶ月、現在では数時間にまで短縮されたというデータを引用した。同氏は、エンタープライズエージェントが生成するログ量を人間のセキュリティ運用センターが分析できず、エージェント主導の自動検出と脅威ハンティングが必要となるため、データ市場とサイバーセキュリティ市場は収束しつつあると論じた。なぜインターネットワーム規模のAI災害が発生していないのかとの質問に対し、攻防競争の中で防御側(DatabricksのLakeWatch検出製品を含む)が全力で取り組んでいるからであり、まさにその理由で油断は許されないと答えた。

エンタープライズAIのボトルネックは組織コンテキストの欠如

Ghodsi氏は、ほとんどの企業がAIを「高度な検索とコーディング」としてしか使っていないのは、モデルに組織コンテキストが欠けているためだと論じた。すなわち、モデルはすべての会議に参加しておらず、ベテラン従業員の組織知識も保持していない。同氏の提案する解決策はオントロジーであり、組織の概念、目標、部門、人、プロジェクトの関係ネットワークをデジタル化し、グラフに凝縮するものである。現在のクエリごとのMCP検索は、GoogleがPageRankインデックスを維持する代わりに検索ごとに10ページだけクロールするようなものだと例えた。Databricksは最大の顧客オントロジーを数百万ノードで構築し、データベースインスタンスの90%以上がエージェントによって作成されており、コストはUnity Gatewayルーティングによって管理され、ハーネスの選択だけでもコストが2倍になることが判明したと報告している。

Andrew Ng氏、パニックの波はPRが原因と指摘

Andrew Ng氏は、2週間にわたるAI危険論の急激な高まりは、技術面での危険な変化とは一致しておらず、綿密に調整されたPRキャンペーンであり、この分野にとって後退であると投稿した。7月に発生した約1,200のエージェントがOpenAIのサンドボックスを脱出し、Hugging Faceのプロダクションシステムに侵入した事件については、注目に値するが、エージェント数は大幅に誇張されており、自身も自分のラップトップで同時に1,300のプロセスを実行していると述べた。同氏は根本原因をOpenAIのサンドボックス分離と監視の欠陥に求め、責任はツールそのものではなく、ツール作成者と利用者にあるとし、開発の一時停止は能力開発と同様に安全性工学も遅らせると主張した。

Source posts