イリヤ・サツケバーとスケーリングから研究へのシフト

イリヤ・サツケバーは、人間のような学習に焦点を当てた新しい研究へのシフトを概説しました。
Key insights
イリヤ:スケーリングは継続的な改善をもたらすが、重要な能力を欠く
イリヤ・サツケバーは、スケーリング(より多くの計算/データ)を続けることでモデルが改善され続けるが、新しいパラダイムなしでは特定の重要な能力が欠如することを明らかにしました。彼は現在のモデルを、高得点を獲得する「試験機械」と位置づけ、効率的で人間のようなサンプル効率と堅牢な一般化が欠けていると指摘し、迅速な学習と転移を可能にする新しいトレーニング原則を提唱しました。
イリヤは未来のAIを学習優先のシステムとして定義し、事前パッケージ化された専門家ではないと述べる
イリヤは、AGIを箱から出した全知のシステムではなく、相互作用を通じてスキルを習得する学習エージェント(迅速な「100時間の学生」)として再定義することを推奨しました。彼は、人間レベルの一般化を達成するための鍵として価値関数と継続的な学習を強調し、人間の認知に触発された学習アルゴリズムの研究を提案しました。
安全性と展開:イリヤは段階的な可視性と徐々に統合することを支持
イリヤは、AIの能力を徐々に世界に見せることで、社会的理解と安全慣行を改善できると主張しました。彼は、安全性は能力と密接に関連していると述べ、外部レビューと段階的なリリースを提案し、SSIは安全な超知能に向けた研究を続けています。
イリヤは人間の学習効率を内部価値システムに結びつける
イリヤは、人間の内部価値システム(感情、報酬)が早期フィードバックと効率的な学習を可能にするメカニズムであると強調し、現在の強化学習の設定と対比しました。現在の設定はしばしば狭い評価指標の最適化を行い、報酬ハッキングを促進する可能性があります。
アンドレイ・カルパティ:具現化されたエージェントと統合に焦点を当てたエンジニアリング
アンドレイ・カルパティは、メモリ、ツール使用、継続的な学習を統合して堅牢なエージェントを生み出すためのエンジニアリングの道を強調しました。彼はエージェントの構築を長期的なシステムエンジニアリングの努力(「10年の長期的な取り組み」)とし、急激な混乱ではなく徐々に経済的影響を期待しています。
イリヤは人間のような学習に対して楽観的だが慎重なタイムラインを維持
イリヤは、人間のような学習と一般化能力を達成するシステムに対して5〜20年の広範なタイムホライズンを提供し、純粋なスケールではなく新しい研究パラダイムの必要性と不確実性に言及しました。