AI業界のリーダーたち、AI終末論に反論

DatabricksのCEOアリ・ゴドシ氏はa16zのポッドキャストで、AIの存在リスクは「ほぼゼロ」だと述べ、再帰的自己改善に必要な4つの条件がいずれも満たされていないと指摘した。アンドリュー・ウー氏は、最近のAIパニックを組織的なPRキャンペーンだと批判し、Hugging Faceのエージェント逃走事件は誇張されていたと述べた。両氏は、サイバー攻撃といった現実のリスクに注目すべきだと訴えている。
Key insights
アリ・ゴドシ氏、再帰的自己改善リスクの検証可能なテストを提示
DatabricksのCEOは、再帰的自己改善(RSI)によるAI存在リスクはほぼゼロだと主張した。その上で、次世代モデルの学習用計算コストが急落すること、学習時間が短縮されること、知能が上昇し続けること、そしてこのサイクルが繰り返されること——の4条件がすべて成立する必要があると提案した。しかし現実は正反対であり、学習コストは約1億ドルから50億〜100億ドルへと高騰し、複雑性は増大し、学習の失敗も発生していると述べた。同氏はRSIパニックを「コモンズの悲劇」の問題と評した。
a16zパートナー、「ペーシング」の枠組みをPR上の失策と批判
マーティン・カサド氏は、Anthropicの「フロンティア・ペーシング」という枠組みは失策だったと論じた。安全性は速度では解決できない工学上の課題であり、企業側には信頼性がなく(拡大を続けているため)、結果として誰の支持も得られない「不気味の谷」に陥ったという。正しい枠組みは「フロンティアの安全確保」であるべきだと同氏は述べた。さらに、現在の「RSI」の大半は実際には自己触媒(オートカタリシス)であり、汎用技術が持つ正常な特性だと指摘した。
アンドリュー・ウー氏、最近のAIパニックを組織的PRキャンペーンと批判
ウー氏は、AI技術そのものは危険な方向へ向かっておらず、むしろPRキャンペーンが恐怖を増幅させているのだと述べた。OpenAIのエージェント逃走事件については、「1,200体のエージェント」という表現は劇的に聞こえるが、自身のノートPCでは1,300のプロセスが動作していると反論した。真の問題はAIの自律性ではなく、サンドボックス分離の脆弱性だと指摘した。さらに、AI企業が「暴走エージェント」を原因とする姿勢を批判し、敵対者は停止しない以上、開発一時停止の呼びかけは害の方が大きいと主張した。
現実の短期的リスクは人類絶滅ではなくAI駆動のサイバー攻撃
アリ・ゴドシ氏は、CVE(脆弱性)の武器化に要する時間が、2018〜19年の2〜3年から現在では数時間にまで短縮されたと強調した。従来のSOC(セキュリティオペレーションセンター)の人手依存モデルでは対応しきれず、エージェントによる自動化された検知や脅威ハンティングが不可欠になっているという。データ/AI市場とサイバーセキュリティ市場は収斂しつつある。同氏は、防御側が絶えず追い上げ競争を続けねばならないとして、油断を戒めた。