XNews

イリヤ・サツケバーのインタビュー — スケーリング時代の終焉、研究への回帰

イリヤ・サツケバーのインタビュー — スケーリング時代の終焉、研究への回帰

イリヤ・サツケバーは、スケーリング時代が終わりを迎え、人間のようなサンプル効率と安全性を強調する新しい学習パラダイムへの研究の回帰が必要であると主張した。

Key insights

イリヤ:スケーリングは改善をもたらすが、人間のような学習を提供できない

イリヤ・サツケバーは、スケーリング(より多くの計算資源やデータ)がモデルやベンチマークの改善を続ける一方で、人間のようなサンプル効率と一般化に必要な重要な要素に対処していないと述べた。彼は、コミュニティが、主により大きな事前学習やRLHFパイプラインに依存するのではなく、迅速な転送、継続的学習、内部価値システムを可能にする学習アルゴリズムに焦点を当てた基礎研究に戻るべきだと主張している。

安全性と能力は相互に関連している;価値関数と感情は帰納的先行知識として

サツケバーは、安全性は能力の一部として構築されるべきであり、人間のような内部価値関数(感情に類似)によってサンプル効率の高い学習と意思決定が導かれると提案した。彼は、先進的なシステムを整合させるために、知覚された感情的存在に配慮する内部の動機を形成することを説明し、自己評価と堅牢な一般化をサポートするアーキテクチャの研究を主張した。

研究時代への回帰:純粋なスケールより新しい学習原則

サツケバーは、2025年以降の期間を、新しいアルゴリズム、アーキテクチャ、学習原則が実質的な成果への主要な道となる研究時代への回帰として位置づけた。彼は、純粋なリソースの蓄積よりも研究の嗜好、創造的な仮説、ターゲットを絞った実験を強調しつつ、計算資源は依然として有用だが単独では不十分であることを認めた。

研究とともに段階的展開と透明性を推奨

SSIの過去の強調点がリリース前に最終システムを構築することにあったのに対し、サツケバーは、ステークホルダーが適応できるように、より強力なシステムを段階的に観察できるようにする進行的な展開と透明性を考慮する方向へのシフトを指摘した。彼は、慎重な段階的露出が現実世界の安全ガバナンスを改善する可能性があると主張した。

Source posts