XNews

イリヤ・サツケバー:「スケーリング時代は終わった」— 研究時代の始まり

イリヤ・サツケバー:「スケーリング時代は終わった」— 研究時代の始まり

イリヤ・サツケバー(SSI)は、2020年から2025年の「スケーリング時代」(より多くのデータ、計算、パラメータ)が限界に達したと主張し、AIはデータ効率、継続的学習、人間の価値体系に焦点を当てた基礎研究に戻る必要があると述べた。彼はエンジニアリングの実用主義(カルパティ)と科学的パラダイムの変化を対比し、スケーリングがモデルを改善する一方で本質的な能力を欠いていることを明確にし、安全性を能力として強調した。SSIのアジェンダは、迅速で人間のような学習と価値を意識したシステムを可能にするアルゴリズムに中心を置いており、人間レベルの学習能力に関するタイムラインの見積もりは5年から20年の範囲である。

Key insights

イリヤ:スケーリングは限界に達している;研究は戻るべき

イリヤ・サツケバーは、以前の「スケーリング時代」—大規模な事前学習、パラメータ、計算への依存—が限界的な収益を持つと述べた。彼は、スケールを続けることで改善が得られるが、人間のような学習や一般化に必要な重要な要素を見逃すと指摘した。彼は、高いサンプル効率と継続的なオン・ザ・ジョブ学習を生み出す新しい学習原則を求め、将来の突破口には純粋なスケーリングではなく、研究に焦点を当てた革新が必要であると主張した。

イリヤ:事実の記憶と学ぶ能力を区別する

イリヤは「100k時間を読む」モデルと、数十時間または数百時間で新しいスキルを習得する学習者を対比した。彼は、現在の事前学習が高性能な試験受験者を生み出すが、学習効率の高いエージェントを生み出さないと主張した。未来には、小さなデータから一般化し、継続的な更新を維持し、人間の価値機能や感情に類似したメカニズムを組み込むシステムが必要である。

安全性を能力として、段階的な展開

イリヤは、安全性を能力の一部として位置付けた:堅牢で整合したシステムは、安定した価値体系を内部化するアーキテクチャを必要とする。彼は、SSIの戦略的再調整が、閉じた「ストレートショット」の安全な超知能か、能力を段階的に社会に公開しつつ安全措置と外部レビューを維持する展開パスのいずれかに向かっていることを指摘した。

コミュニティの反応:カルパティ対イリヤ — エンジニアリング対科学的ボトルネック

コメントは、カルパティのエンジニアリングに焦点を当てた見解(実用的なエージェント統合、ツールチェーン、ローカルエージェント)と、イリヤの新しい学習パラダイムが必要であるという研究に焦点を当てた主張を比較した。両者は進行中の進展を認めるが、システム統合が主要なボトルネックであるか、新しいアルゴリズムがそれであるかについて意見が分かれた。

イリヤが明確化:スケーリングは依然として助けるが「重要な何か」が欠けている

イリヤは、計算/データ/トレーニング環境をスケールし続けることが改善をもたらすが、高いサンプル効率や新しい一般化の形態といった特定の本質的な能力を欠いていることを明確にした。これには異なる研究方向が必要である。

イリヤ:人間のような価値関数と感情の類似物が鍵

イリヤは、人間の感情が迅速で指向された学習を支える内部の価値体系として機能することを示唆した(例:好奇心、恥、報酬の期待)。彼は、効率的で指導的な学習を可能にし、狭い報酬設計からの報酬ハッキング行動を避けるために、類似の内部評価信号を埋め込んだMLシステムの設計を提案した。

Source posts