XNews

イリヤ・サツケバーのインタビューと「研究時代」論争

イリヤ・サツケバーのインタビューと「研究時代」論争

イリヤ・サツケバーは、最近のスケーリング時代から人間のような学習と価値システムに焦点を当てた新しい研究時代への移行を促しています。

Key insights

スケーリングは依然として役立つが重要な要素を欠いている

イリヤ・サツケバーは、計算能力、データ、トレーニング環境のスケーリングを続けることでモデルの性能とベンチマークが向上し続けるが、そうしたスケーリングは「重要な何か」を欠いていると主張しました。具体的には、人間のような学習、内部価値関数、堅牢な一般化のメカニズムが必要であると強調しました。サツケバーは、事前学習と強化学習がベンチマークで優れた結果を出すシステムを生み出すが、長期的な多段階タスクにおいて一般化できず、自己評価もできないと述べました。サツケバーは、安全性を能力と切り離せないものと位置づけ、SSIを純粋なスケールではなく新しい学習パラダイムの研究に向けて進めています。

人間の価値関数と感情が学習の近道となる

イリヤは、人間が内部価値関数(感情、認識報酬)を持ち、これがサンプル効率の高い学習とメタ嗜好を導く早期のフィードバック信号として機能することを主張しました。彼は、医師や目標の変化、恥/誇りの例を用いて、人間が認識から得られる近接報酬を得ることで多層的な欲望と自己修正を可能にすることを示しました。彼は、標準モデルが単一の目的を持ち、メタ評価を欠いていることと対比し、将来のAIが類似のメカニズムを欠く場合の整合性の懸念を提起しました。

カルパティ:『幽霊』から具現化されたエージェントへの工学的ギャップ

アンドレイ・カルパティは、現在の大規模モデルを『目覚めた幽霊』と表現し、実世界で堅牢に機能するためにはエージェントの『身体』—記憶、ツール使用、強化学習の微調整、持続的な相互作用—を与える必要があると述べました。彼は、実用的なエージェントを構築することは長期的なシステム工学の問題であり、長期タスクにおけるエラーの蓄積があるとし、進展には約10年かかる可能性があると予測しました。カルパティは、モデルとツール、環境の漸進的かつ実用的な統合を強調しました。

サツケバー:AGIを全知の製品ではなく迅速な学習者として再定義

サツケバーは、AGIを『全てを知っている』完成品から、展開後に迅速にスキルを習得する学習者として再定義することを提案しました。彼は、現在の事前学習を100,000時間読んだ学生に例え、『洞察』や迅速な転送が欠けていると述べました。彼は、望ましいシステムは積極的に探索し、自己反省し、価値システムを維持し、モダリティを超えて一般化するものであると説明しました。彼は、SSIがその学習者の原型に到達するための新しいパラダイムを探求していると述べました。

安全性は能力と展開戦略に結びついている

サツケバーは、安全性は外部のガードレールだけでなく、能力に結びついたコアデザイン目標であり、正しい価値のような評価を内部化するシステムを構築することが重要であると述べました。彼は、SSIが以前は安全な超知能に向けた閉鎖的な開発を好んでいたが、現在は社会が能力を観察し適応できるように、漸進的な段階的展開を検討していると述べました。彼は、人間のようなメタ動機がなければ、将来のAIは道具的に攻撃的になる可能性があると警告しました。

コミュニティの要約がインタビューと意見の相違を記録

複数のコミュニティ著者が、サツケバーのインタビューを再構築する詳細なバイリンガル要約、翻訳、および分析スレッドを作成し、カルパティの実用主義との文脈的比較を加え、報酬ハッキング、価値関数、タイムラインの見積もり(5〜20年)、SSIの戦略変更などのトピックを強調しました。要約には、インタビューのクリップ、拡張ノート、サツケバーからの明確化ツイートが含まれています。

Source posts