XNews

イリヤ・サツケバー:スケーラブル時代の終焉と価値関数の議論

イリヤ・サツケバー:スケーラブル時代の終焉と価値関数の議論

イリヤ・サツケバーはOpenAIを離れSSIを設立した後、初の体系的インタビューを行い、現在のAIの状態と未来の道筋について議論した。

Key insights

スケーラブル時代の収益減少、研究革新への回帰が必要

イリヤは2020年から2025年を「スケーラブル時代」と位置付け、計算能力、データ、モデルの規模を積み上げることで安定した向上を得たが、限界利益が急激に低下していると指摘した。単純に計算能力を増やすだけでは質的変化をもたらさない。今後5〜10年は研究と新しい学習原理が主導する段階に戻る必要があり、モデルが人間のように学ぶことができる原則を提案することが重要であると述べた。この見解は、彼が過去の二つの時代(2012年から2020年の研究時代と2020年から2025年のスケーラブル時代)を区分し評価したことに基づいている。

現行モデルは基準で高得点だが、実際のタスクでの一般化が不足

イリヤは、現行のモデルが各種評価(evals)で非常に高いスコアを得ているが、実際の複雑なタスクでは「修正が新たなバグを引き起こす」という循環的なエラーが繰り返されていることを指摘した。これは、強化学習の段階で評価最適化(reward hacking humans)に過度に焦点を当てた結果であり、モデルが「試験だけを受ける学生」のようになっていると説明した。彼は競技会での問題解決の比喩を用いて、スキルと一般化の違いを強調し、一般化こそがボトルネックであると述べた。

人間の学習優位性は内在的価値関数と感情メカニズムに起因

インタビューでは、人間が「内在的価値システム」(価値関数に類似)を持ち、感情(喜び、不安、恥、好奇心)が即時のフィードバックとして機能し、長期的なタスクにおいて方向性の信号を事前に提供することで学習効率を大幅に向上させることができると提案された。イリヤは脳損傷患者の事例やチェスの直感を用いて、感情が意思決定と一般化における核心的役割を果たすことを説明した。

事前学習と強化学習の役割の区別と問題

イリヤは事前学習と強化学習の役割を分析した。事前学習は膨大な未選別データを利用して広範な投影を得る一方、強化学習は人為的に設計された目標と環境を必要とし、後者は実際の展開において人為的な目標に誘導されやすく、実世界での一般化能力を損なう可能性があると述べた。彼は、事前学習だけで規模を拡大しても一般化の問題は自動的に解決できないと考えている。

SSIの路線:安全な超知能と段階的な公開展開

SSI(安全な超知能)の目標は「安全な超知能」を開発することである。イリヤは、SSIが段階的、安全、公開の推進方法に重点を置くことを説明し、各段階の能力、リスク、制御戦略が外部の審査を受けることになると述べた。また、技術とリスクを一般市民や政府が徐々に理解できるようにするために、段階的な展開を真剣に考慮し始めるとした。

AGIの再定義:完成品から人間のように学ぶ学習者へ

イリヤはAGIを「学習者」として捉えるべきであり、出荷時から全能の製品ではないと提案した。本当の超知能は、能動的な探索、クロスモーダル推論、自己反省、持続的な学習能力を備えており、人間に類似した入社から成長の道筋が実際の展開や経済的影響評価により適していると述べた。

Source posts