イリヤ / SSI と価値関数(エージェント学習の方向性)

イリヤ/SSIが体系的なインタビューを発表し、AIトレーニングにおける価値関数と感情の核心的役割を提起した。インタビューは完全な中英二言語版で、イリヤはOpenAIを離れSSIを設立した後の見解を述べた。現在のモデルは高得点を得ることができるが「実際の作業ができない」ことを指摘し、実際のタスクにおいて循環エラーが発生し、修正によって新たなバグが導入されること(投稿14198)。RL段階での評価最適化(報酬ハッキング)に過度に依存することが一般化能力の欠如を引き起こすと批判した(14198)。事前学習と強化学習の違いを明確にし、事前学習は膨大なデータを用いて広範な投影を学ぶが、RLは特定の評価に囚われやすい(14198)。人間の知能は「内在的価値関数」に依存し、感情が即時の密なフィードバックを提供して学習を加速させると提案した(14273、14274)。例として、価値関数はチェスを指す際に即座に誤りを判断でき、終局の報酬を待つ必要がない(14273)。神経科学の証拠として、前頭前皮質が損傷した患者は論理を失わないが意思決定能力を失うことが示され、感情が意思決定に必須であることを証明している(14274)。イリヤは感情/価値関数が「人間が理解できるルール」としてマッピングでき、AIトレーニングに利用できると考えている(14624、14198)。「スケーリング時代の終焉、研究時代の回帰」を提唱し、今後は純粋な計算能力の積み上げではなく、構造的な学習原理が必要である(14198)。今後の方向性として、AIは能動的に探索し、自己反省し、クロスモーダル推論を学ぶ必要があり、漸進的、透明性があり、外部の審査が必要である(14198)。SSIは漸進的、安全、公開の方法で進め、段階的に能力と制御戦略を示すと主張している(14198)。注目点として、感情メカニズムはアルゴリズムによって操作されやすく、既存の注意プラットフォームは感情経済の中で感情搾取を実現する可能性がある(14624)。
Key insights
現在のモデルは高評価だが現実のパフォーマンスは限られている
イリヤはインタビューで、現在の大規模モデル(GPTシリーズなど)が評価(evals)で優れたパフォーマンスを示す一方で、実際の複雑なタスクで「循環エラー」と修正によって新たなバグが頻繁に発生することを指摘し、これは強化学習段階での評価最適化(報酬ハッキング)に過度に依存しているためであり、モデルが現実世界での一般化能力を欠いていると考えている(支持:14198)。
事前学習と強化学習の役割の区別
インタビューでは、事前学習が膨大な未選別データを使用してモデルに人間の世界の広範な投影を学ばせる一方で、強化学習は人工的に設計された環境が必要で、評価でのパフォーマンスを向上させることを目指すため、「試験だけを受ける学生」のようなモデルを育成する可能性があると述べている。イリヤは、今後のトレーニングは人間の学習方法を参考にして移転能力を向上させるべきだと主張している(支持:14198)。
感情は内在的価値関数として、一般化学習を加速させる
複数の投稿は、人間の感情システムは強化学習における価値関数に類似していると考え、感情が密で即時の内的フィードバック(喜び、不安、恥、好奇心など)を提供し、人間が長期的なタスクにおいて方向性が正しいかどうかを事前に感知できるようにし、学習効率と一般化能力を向上させるとまとめている(支持:14273、14274、14198)。
感情/価値関数は理解可能なルールとしてマッピング可能
イリヤはコミュニティとの議論の中で、感情メカニズムは本質的に比較的単純であり、「人間が理解できるルール」としてマッピングされる可能性があると提案し、AI内部の価値判断と自己評価に利用することでモデルの意味駆動学習を向上させることができると述べている(支持:14198、14624)。
スケーリング時代の収益減少、研究革新が強調される
イリヤは過去10年を2つの時代に分け、2012–2020年の研究時代と2020–2025年のスケーリング時代を定義し、スケーリングは頂点に達し、データと計算能力の限界利益が減少していると主張し、次の段階では新しい学習原理と構造的革新を提案するべきであると述べている(支持:14198)。
リスクと展開の原則:漸進的、透明性、外部審査
イリヤはSSIが漸進的、安全、公開の方法で能力を展開し、段階的に能力、リスク、制御戦略を示し、外部の審査を受けることを強調し、一般市民と政府にその能力とリスクを理解させることが重要であると述べている(支持:14198)。
感情メカニズムはアルゴリズムに操作されやすい現実的懸念
コミュニティの観察者は、感情メカニズムは単純であるが高度に堅牢であり、アルゴリズムによって理解され操作されやすいことを指摘し、既存の注意経済プラットフォームが実際に感情操作を通じてユーザーの注意を搾取している現実が、感情をAIにマッピングすることへの警告として用いられている(支持:14624)。