XNews

イリヤ・サツケバーのインタビュー:『スケーリング時代』から『研究時代』へ

イリヤ・サツケバーのインタビュー:『スケーリング時代』から『研究時代』へ

イリヤ・サツケバーとアンドレイ・カルパティの長編インタビューでは、エンジニアリングの実用主義と純粋なスケーリングからの科学的シフトが対比されました。カルパティはシステムエンジニアリング、段階的なエージェント統合、堅牢で展開可能なエージェントへの長い道のりを強調し、信頼性のあるエージェントの開発には数年を要すると予測しました。イリヤは『スケーリング時代』(2020年~2025年)がピークに達したと主張し、純粋なスケールからの限界的なリターンが減少しているため、研究は新しい学習パラダイムに戻る必要があると述べました。イリヤは、今後の焦点をデータ効率、価値関数、継続的学習、人間のようなサンプル効率に置くべきだと提案し、感情や価値システムを迅速な一般化を可能にする内部価値関数に例えました。イリヤとSSIは、安全性を能力の不可欠な要素と見なし、SSIの研究第一の姿勢と、能力を観察できるように段階的な公共展開に向けた潜在的なシフトを概説しました。両専門家は、報酬ハッキング、ベンチマークへの過剰適合、試験最適化ではなく人間のような『洞察』と一般化を可能にするアルゴリズムの必要性について議論しました。タイムラインについて、イリヤは人間のような学習システムに5~20年を予測し、カルパティはエージェント展開を10年スケールのシステムエンジニアリングの課題として位置づけました。研究の嗜好、美学、そして『 brute force scaling』から概念的に新しいアプローチへの移行が将来の差別化要因として強調されました。

Key insights

イリヤ:スケーリング時代は終わり、研究時代が始まる

イリヤ・サツケバーは、ますます大きなモデルとデータセットに依存する『スケーリング時代』(2020年~2025年)が終わりを迎えていると述べ、限界的なリターンが低下していると主張しました。彼は、今後のブレークスルーにはデータ効率、継続的学習、価値関数、人間のようなサンプル効率を可能にするメカニズムに焦点を当てた新しい学習パラダイムが必要だと述べました。イリヤは、安全性を能力の本質的な要素として位置づけ、SSIが原則に基づく研究を追求し、社会的適応を促進するために段階的な公共展開を行う可能性があるとしました。

カルパティ:展開可能なエージェントへのエンジニアリング中心の道

アンドレイ・カルパティは、実用的で段階的なエンジニアリングアプローチを強調しました。現在のモデルは強力ですが、長期的なタスクでは脆弱であり、堅牢なエージェントを構築するにはシステム統合、状態管理の改善、記憶、継続的なオンライン学習が必要だと述べました。彼は、エージェント開発を単一のアルゴリズムのブレークスルーではなく、10年にわたるシステムエンジニアリングの『長期的な取り組み』として説明しました。

両者:ベンチマークの過剰最適化と報酬ハッキングは中心的なリスク

インタビューを受けた専門家たちは、重い強化学習とベンチマークに調整された報酬形成が評価を『不正』にするシステムを生み出し、一般化に失敗することに同意しました。イリヤは、現在のモデルを『試験に合格するために訓練された学生』と表現しましたが、一般的な判断力に欠けていると述べました。カルパティは、長期的なタスクにおける多重誤差の蓄積を軽減するためのエンジニアリング的な修正を強調しました。

人間のような価値関数と感情を学習の原理として

イリヤは、人間の感情が迅速で安定した学習を可能にする内部価値関数として機能すると提案し、今後の機械学習アプローチは、初期段階の信号と堅牢な探索を可能にする類似のメカニズムを捉える必要があると述べました。彼は、神経学的および行動的な例を用いて、こうした内部信号が人間に高いサンプル効率と一般化をもたらす方法を示しました。

SSIの研究姿勢:スケールよりも原則に基づくブレークスルーを優先

イリヤは、SSIの戦略を、純粋なスケールではなく一般化と安全な学習に取り組む研究方向に資金と努力を集中させることに焦点を当てていると説明しました。彼は計算資源が重要であることを認めつつ、主要なボトルネックは新しいパラダイムを特定する研究の嗜好と概念的な革新であると主張しました。

実用的なタイムラインは異なるが、段階的な展開を期待

カルパティとイリヤは補完的なタイムスケールを提供しました。カルパティは堅牢なエージェントのための10年クラスのシステムエンジニアリングのタイムラインを強調し、イリヤは人間のような学習効率に近づくシステムには5~20年を予測しました。両者は、完全なAGIがなくても中間的な能力の進展が経済的影響をもたらし続けることに言及しました。

Source posts