XNews

AI安全性誇張と現実的リスクに関する議論

AI安全性誇張と現実的リスクに関する議論

DatabricksのCEOであるAli Ghodsi氏は、a16zのポッドキャストでAIの存在リスクはほぼゼロであり、再帰的自己改善(RSI)は起こっていないと主張した。同氏は、AIによるサイバー攻撃が現実的な短期的脅威であり、CVEから武器化までの時間が数年から数時間に短縮されたと指摘した。Andrew Ng氏も別途、AI破滅論の誇張に反論し、一時停止ではなく工学的な修正を求めた。

Key insights

AI絶滅リスクはほぼゼロ

DatabricksのCEOであるAli Ghodsi氏は、AIの存在リスクはほぼゼロに近いと主張し、リーダーは強い根拠なしに一般市民を怖がらせるべきではないと述べた。同氏は、精神的健康へのコストやパニックの波及効果を現実的な害として挙げた。Martin Casado氏は、恐怖が地方のコミュニティに浸透し、政治的に利用されており、過剰規制につながる可能性があると付け加えた。

「フロンティアのペース調整」という枠組みへの批判

Martin Casado氏は、AnthropicのCEOであるDario氏の文書は内容は合理的だが、フレーミングの点で広報上の失策であると述べた。同氏は、安全性はスピードの問題ではなく工学的な問題だと主張する。全力で競争している企業が減速を求める際に信頼性を欠き、「恐怖の谷」的なフレーミングは、破滅論者にも現実主義者にも満足を与えないと述べた。

RSIの4条件テストは失敗

Ghodsi氏は、再帰的自己改善に関する反証可能な4条件テストを提案した。それは、必要な計算リソースの劇的な減少、トレーニング時間の短縮、モデル知能の向上、そしてこれら3つすべての再現性である。現実は各条件と矛盾しており、トレーニングコストは約1億ドルから50億〜100億ドルに上昇し、トレーニングは年に1〜2回しか行われず、複数のトレーニング失敗が発生している。

現実的な短期的リスク:AIサイバー攻撃

Ghodsi氏は、CVEから武器化までの時間が(2018〜19年の)2〜3年から(2022年の)8〜9か月、現在では数時間に短縮されたと報告した。同氏は、データ・AI市場とサイバーセキュリティ市場が収束しつつあり、従来のSOCの人間ベースのモデルでは追いつけないと主張する。完全に自動化された検出と脅威ハンティングが必要であり、銀行が先導しているが、ほとんどの企業ははるかに遅れている。

企業のボトルネックは文脈の欠如であり、モデルの知能ではない

Ghodsi氏は、ほとんどの企業のAI利用は「美化されたGoogle検索」にコード作成を加えたものに似ていると観察している。欠けている要素は組織の文脈であり、モデルは会議に参加したり、組織の知識を獲得したりしていない。同氏の解決策はオントロジー/ナレッジグラフのアプローチであり、Databricksは顧客向けに数百万ノードのグラフを構築している。

AI安全性への恐怖は誇張されている、とAndrew Ng氏

Andrew Ng氏は、AI技術が予期せぬ危険な方向に進んだわけではないが、組織的なPRキャンペーンがかなりの恐怖を煽っていると書いた。同氏は、OpenAIのエージェント群のインシデントは、絶滅リスクの証拠ではなく、修正可能な工学的バグと見なしている。同氏は、「1,200エージェント」の攻撃報告を文脈化するために、自身のラップトップで約1,300のプロセスが実行されていることに言及した。

AIの一時停止は利益よりも害を生む

Ng氏は、敵対者が減速しないため、また工学は問題の経験的発見を必要とするため、一時停止は助けよりも害になると主張する。10年間の一時停止は、安全性工学の修正を同じ期間遅らせることになる。同氏は、AIエージェントを責任のある主体として擬人化するのではなく、人々に責任を負わせることを強調した。

Source posts