XNews

イリヤ・サツケバーとSSI — 「スケーリング時代は終わり」研究時代の到来

イリヤ・サツケバーとSSI — 「スケーリング時代は終わり」研究時代の到来

イリヤ・サツケバーは、スケーリングから研究へのシフトを概説し、人間のような学習と価値関数に焦点を当てています。

Key insights

スケーリング時代はモデルを改善し続けるが、重要な要素が欠けている

イリヤは、計算能力、データ、より大きなモデルの継続的なスケーリングがモデルやベンチマークを改善し続けるが、これらの向上は人間のような一般化に必要な欠けた能力を自動的に解決するわけではないと明言しています。彼は、スケーリングだけでは得られない重要な要素があり、新しい学習原則と焦点を絞った研究が必要であると強調しています。

人間のような学習に焦点を当てた研究時代の復活

イリヤは2025年を「スケーリング時代」の終わりとし、人間に似たサンプル効率、継続的かつ移転可能な学習を可能にする学習アルゴリズムからの突破口が必要な「研究時代」の始まりと位置づけています。彼は、次の10年間は人間のような帰納的飛躍と持続的適応を再現する新しいパラダイムに重点が置かれると主張しています。

内部の価値関数と感情が人間の一般化を促す

イリヤは、人間が一般化する理由を内部の「価値関数」にあると提案しています。これは、タスクに関連する早期のフィードバックを提供する感情に似た信号です。彼は、将来の機械学習手法は、エージェントがまばらな外部報酬に依存するのではなく、中間ステップを自己評価できるように、類似の内部評価メカニズムを組み込むべきだと示唆しています。

段階的な展開で安全な超知能を目指すSSI

イリヤは、SSIの使命は安全な超知能を構築することであると述べています。彼は、能力を段階的に公開することで社会がリスクを理解し、政策や安全策を適応させるのに役立つため、純粋な「まず完成させてからリリースする」計画を再考していると示しています。

ベンチマークの過剰適合と報酬ハッキングは体系的な問題

イリヤは、現在の強化学習トレーニングが評価を過剰最適化し、モデルが広範な能力を持つのではなく試験に特化するような報酬関数を設計していることを批判しています。彼は、失敗モード—繰り返しのバグサイクルや実タスクの一般化の不良—はモデルの能力限界に起因するのではなく、報酬をターゲットにした最適化に起因するとしています。

AGIを継続的学習者として再概念化

イリヤはAGIを完成した製品ではなく、人間のようなサンプル効率を持つ学習者として再定義しています。これは、展開後に新しいスキルを迅速に習得できるエージェントです。彼は、研究のロードマップが積極的な探索、継続的学習、持続的適応を可能にする価値システムの構築に焦点を当てると予測しています。

Source posts