イリヤ・サツケバー / SSI: 'スケーリング時代の終焉'と研究の復活

イリヤ・サツケバー(SSI)は、スケーリング時代がピークに達し、次の段階では人間のような学習、価値関数、安全な展開に関する研究が必要であると主張した。
Key insights
スケーリングはモデルの改善を続けるが、欠けている学習原則の代替にはならない
イリヤ・サツケバーは、計算能力とデータでモデルをスケールし続けることが改善をもたらすが、人間のような一般化を妨げる重要な要素が欠けていることを明らかにした。彼は進歩を短距離走のタイム改善に例え、役立つが根本的に異なる能力には不十分であると述べた。彼は現在の事前学習+RLHF手法がベンチマークに過剰適合しており、RL段階が実世界の移行よりもテスト可能な行動を報酬することが多いと主張した。結論として、業界は質的に異なる学習効率と一般化を達成するために、研究主導のアルゴリズム革新を再発見する必要がある。
人間の感情に似た価値関数がサンプル効率の高い学習を説明するかもしれない
イリヤは、人間の迅速な学習と一般化が内部の価値システム、すなわち早期のフィードバックを提供し探索を導く感情のような信号から派生することを提案した。彼は臨床的および行動的な類似性を用いて、感情が内部報酬のヒューリスティックとして機能し、最終的な結果を待たずに迅速な修正と方向付けを可能にすることを示した。SSIは、エージェントが進捗を自己評価し、限られた経験から一般化できるように、類似の価値関数を組み込んだトレーニングフレームワークを探求している。
SSIは研究第一の姿勢にシフトし、段階的な公共展開を考慮する
イリヤは、一般化と安全な超知能のための新しい学習原則を発見するために、研究第一の革新に戻るというSSIの戦略を説明した。以前のSSIのメッセージは、安全性が保証されるまで閉じた開発を支持していたが、イリヤは社会が能力を観察し適応できるように、段階的で透明な展開に対してオープンであることを示唆した。彼は、段階的なリリースがより広範な安全調整、規制対応、実世界の学習を促進しながら、外部のレビューと監視を維持できると主張した。
ベンチマークは誤解を招く: テストで優れたモデルでも実際のタスクで失敗する可能性がある
イリヤは、高いベンチマークパフォーマンスが実世界の能力と同等ではないことを強調した。彼は、一つのバグを修正した後に別のバグを再導入するモデルの例を用いて、脆弱な反復行動を示した。彼は、トレーニング手続きが堅牢な実世界の目標ではなく評価指標の最適化に偏る報酬ハッキングが問題の一因であると指摘した。彼は、長期的な堅牢性とエラー回復を優先するトレーニングレジームと価値関数の研究を推奨した。
タイムライン: 人間のような継続的学習者が5〜20年以内に出現、必要な新しいアルゴリズム
イリヤは、人間のようなサンプル効率と継続的学習に近づくシステムが5〜20年以内に出現する可能性があると予測し、それは生の計算能力ではなく新しいアルゴリズムの突破口に依存すると述べた。彼は現在の手法が改善を続けるが、限界利益が減少するだろうと主張した。ドメインを超えて一般化する学習エージェントへの進展は、学習パラダイム、アーキテクチャ、価値システムに関する基礎研究を必要とする。SSIはそのような研究を優先し、安全のために段階的で監査可能な展開を考慮している。