AGIのタイムラインとエージェント評価方法
専門家がAGIの確率タイムライン、必要な能力、エージェントのための多段階評価方法について議論しました。
Key insights
シェーン・レッグが2028年までに最小限のAGIの50%の確率を示す
DeepMindのシェーン・レッグは、最小限のAGIを2028年までに達成する確率を50%と見積もり、AGIを典型的な人間の認知タスクを実行できる人工エージェントと定義しました。彼は、持続的学習、特定の視覚的推論能力、具現化された相互作用における残されたギャップを特定し、補完的な評価方法として敵対的テストとベンチマークスイートを推奨しました。
ベンチマークと敵対的テストという二つの補完的なAGI評価戦略
一つの推奨は、ベンチマークテストスイートと、数ヶ月にわたって認知的欠陥を見つけるために実施される人間主導の敵対的なレッドチームスタイルの評価を区別します。両方での成功はAGIに対するより強い主張を示すことになります。この議論は、単なる計算能力を超えた改善、すなわちアーキテクチャ、継続的学習、エピソディックメモリ、具現化が必要であることを強調しています。
専門家のスコアリングと比較モデリングを強調する構造化されたエージェント評価の青写真
提案された多段階エージェント評価方法論には、(1) 専門家によって作成されたスコアリングルーブリックとケースデータセットの人間専門家ラベリング、(2) モデルベースのスコアを得るための複数モデルの実行、(3) エージェントの対決的比較スコアリング、(4) 結果を検証するための専門ユーザースコアリング(外部ドメインの専門家)を含みます。このフレームワークは、技術評価のために非専門家の一般公衆評価に依存することへの警告を発しています。
安全性と検証がAGIの進展において中心的な役割を果たす
議論は、エージェントの意思決定中に倫理的な質問を明示的な推論ステップに変換し、能力がスケールする際に安全性を要件として扱うことを強調しています。具現化と継続的学習は、より基盤的で一般的な知能に到達するための重要な能力として挙げられています。