vista8が「承認報酬」概念とAI安全性論争におけるその役割を説明
この記事では「承認報酬」という概念を紹介しています。これは、期待される社会的認識が長期的なプロジェクトを推進する人間の動機付けメカニズムです。この概念を用いて、AI安全性に関する悲観主義者と楽観主義者の間の分断を説明しています。人間は目標の持続性、自己評価、社会的規範、修正可能性、目標の変化の現れを変えるメタ報酬層(承認報酬)を持っていると主張しています。承認報酬を欠くAIは純粋な目標最適化者となり、リスクを高める可能性があります。この記事では、承認報酬をAIに組み込むことができるかどうかを議論し、このギャップに関する研究を促しています。