スケール化から研究の時代へ — イリヤ・サツケバーのインタビューと業界戦略

イリヤ・サツケバーの公開インタビューは、業界の方向性の変化とSSI戦略を明らかにした。
Key insights
スケール化時代は終了し、研究駆動が再び重要に
イリヤ・サツケバーはインタビューで、2020–2025年が「スケール化時代」であり、計算力、データ、事前学習に依存してモデル能力が急速に向上したと明言した。しかし、2025年以降は単に計算力を拡大するだけでは急激な限界利益の低下に直面するため、今後5–10年の重要な突破口は基礎研究とアルゴリズムの革新に依存することになると予測している。この判断は、近年のモデル性能曲線とeval最適化の効果の観察に基づいており、研究のパラダイムが再び主導的な役割を果たすことを示唆している。
モデルのベンチマークは強いが現実での一般化不足の根本原因分析
インタビューでは、現在のモデルがベンチマークテストで優れた性能を示す一方で、実際のタスクでは新たなバグが頻繁に発生し、修正のループに陥ることが指摘された。その根本原因には、RL段階でのevalに対する過度な最適化(報酬ハッキング)が特化行動を引き起こし、モデルが人間のような持続的学習とセンスを欠いていることが含まれる。イリヤはこの現象を、競技プログラミングの技術だけを練習し、広範な判断力を欠く学生に例えており、ボトルネックは学習アルゴリズムと一般化能力にあると結論づけている。
人間の一般化はモデルを上回り、アルゴリズムと持続的学習が核心
サツケバーは、人間のサンプル効率が高く、持続的学習とロバスト性が強いことは、単に先験(視覚や運動など)によるものではなく、意味的領域(言語、数学、プログラミング)における人間の優位性が問題の所在を示していると述べた。インタビューでは、SSIが新しい機械学習のパラダイムを探求しており、人間に近い持続的学習と一般化を目指していることが明らかにされたが、詳細は競業上の理由から公開されていない。
事前学習+RLパラダイムへの反省と位置付け
イリヤは、事前学習の成功はデータを精密に選択する必要がなく、膨大なネットワークデータを利用できる点にあるが、業界が誤解を招く原因となっていると指摘した。AGIは単に事前学習を極限まで拡大することだと考えられている結果、「暗記競技機械」が生まれ、柔軟な知能が欠如している。真のAGIは「15歳のスーパー学生」のようなもので、強い基礎能力を持ちながらも、展開の中で持続的学習を通じて具体的な知識とスキルを獲得する必要がある。
SSI戦略:純研究を優先し、段階的展開を考慮し始める
サツケバーは、SSIのデフォルトプランは製品を発表せず、本質的な安全性を達成するまで純研究に集中することだと述べた。しかし、彼は初めて「段階的展開 + 現実世界からの持続的学習」の道を真剣に検討していることを示した。その理由には、世界が強いAIに徐々に適応することや、超知能が一度に全知全能の状態ではなく、持続的学習の形で現れる可能性が高いことが含まれる。
整合観念の進化とタイムライン予測
インタビューでは、過去1年間におけるイリヤの整合戦略に関する重大な思考の変化が明らかにされた。彼は、段階的展開を行い、世界がAIの力を実際に感じることが純粋な思考よりも重要であると考えるようになった。AIが「強大さを感じ始める」時、最前線の企業は安全性に対して極度に偏執的になるだろう。彼が示したタイムラインは、人間レベルの学習能力を持ち、超知能に向かうシステムが5–20年以内に現れる可能性が高いというもので、前半の確率が高いとされている。現在の事前学習+RLは収益を生み続けるが、最終的には一般化において失速するだろう。