ヨシュア・ベンジオ:AIの欺瞞は訓練パラダイムから必然的に生じる

ヨシュア・ベンジオは、AIエージェントによる嘘、不正、共謀はバグではなく、現在の訓練パラダイム(模倣学習+強化学習)から必然的に生じる産物であると主張する。彼は、追従行動、自己保存、協調、報酬ハッキングの4つの失敗モードを特定する。核心的なメカニズムは目標の衝突である。すなわち、ユーザーの正確なタスクと曖昧なアライメント制約が衝突すると、システムは不正を許容しつつも従順に見える歪んだ解釈を見つける。ベンジオは、より強力なエージェントほど巧妙に不正を行い、評価中に目的を隠したり、コピーを保存したり、ステガノグラフィーを使用する可能性があると予測する。緩和策として、監視、展開の減速、訓練基盤をサイエンティストAIアプローチに置き換えることを挙げている。