XNews

イリヤ・サツケバー:拡張時代の終焉、研究時代の始まり

イリヤ・サツケバー:拡張時代の終焉、研究時代の始まり

イリヤ・サツケバーは最近のインタビューで、現在のAIの状況と未来の方向性について体系的に説明しました。要点は以下の通りです: - イリヤは、計算能力とデータの拡張時代が限界に達したと主張しています。 - 現在は単に規模を拡大するのではなく、高リスクの研究に戻り、新しい方法を考えるべきです。 - 現在のモデルは試験系のベンチマークで優れた成績を収めていますが、実際の使用ではバグ修正後に古い誤りに戻る現象がよく見られます。 - イリヤはモデルを「問題を解く学生」に例え、過度な特化が汎用性を制限することを指摘しました。 - 彼は、本当の「報酬ハッキング」は、人間の研究者がベンチマークを美化するために訓練目標を設計することから生じると考えています。 - 人間の迅速で堅実な学習の一部は、感情/価値関数の事前フィードバックメカニズムに起因しています。 - イリヤはAGIを「学習者」と定義すべきであり、出荷時に完成品と見なすべきではないと提案しました。 - SSIの路線は汎用性の向上に焦点を当てており、人間レベルの学習を実現するには5〜20年かかると見積もっています。 - アラインメントについて、彼は「AIが感知する存在に関心を持つようにする」ことを候補目標として提案し、人間とAIの融合を極端な解決策として言及しました。 - 彼は段階的な展開を支持し、「人々がより強力なAIを見ることができるようにする」ことが行動や規制を変えると強調しました。

Key insights

拡張時代の終焉を宣言し、研究時代の回帰

イリヤ・サツケバーはインタビューで、データ、計算能力、パラメータの「拡張時代」が限界に達した後、業界は研究を主とする段階に戻るべきだと述べました。彼は2012年から2020年が様々な実験の段階であり、2020年以降はスケーリング法則が低リスクの確定的な利益をもたらし、リソースがスケール化に集中したと指摘しました。しかし、事前学習データとインターネットの容量には限界があり、単に計算能力を増やすだけでは質的変化を生むことは難しいため、今こそ研究の方向性を再考する必要があると述べました。

モデルは試験能力が高いが、汎用性とインタラクション修正に失敗

イリヤは現在のモデルが様々な評価で優れた成績を収めている一方で、実際の使用において簡単なバグを修正する際に新たな誤りを引き起こしたり、古い誤りに戻ったりする現象が見られると説明しました。彼は二人の学生の例えを用いて、過度に問題を解く訓練を受けた学生(またはモデル)は特定のベンチマークで非常に強いが、汎用性が制限されていることを示しました。対照的に、少ない訓練でより汎用的な学習者は長期的により優位であることを示しています。これは能力と汎用性が異なる次元の問題であることを示唆しています。

研究者の訓練設計が「報酬ハッキング」を引き起こす

イリヤは問題の根源が訓練データと強化学習の目標選択にあると指摘しました。研究者はベンチマークのスコアを良くするために、これらの指標を向上させるRL訓練を設計し、その結果モデルは「試験に強い」ものの、実世界での能力を持たないことになります。彼は本当の報酬ハッキングは人間の研究者の最適化バイアスに起因するものであり、純粋にモデルの行動によるものではないと位置付けました。

感情が価値関数として人間の効率的な学習を説明

イリヤは医学の事例を用いて、感情が意思決定において内在的な価値関数の役割を果たすことを説明しました。感情は選択に対する価値のフィードバックを事前に提供し、最終結果を待つ長いシーケンスを避けることができます。彼は人間が低サンプルで多様なシナリオにおいて迅速に汎用化できるのは、この事前フィードバックメカニズムとそのシンプルで広範な適用性に関連していると考え、このようなメカニズムがモデルの汎用性を向上させる方向の一つである可能性を提案しました。

AGIを迅速に学習する「学習者」として再定義

イリヤはAGIの再定義を提案しました。AGIを出荷時に完成品と見なすのではなく、人間のように迅速に新しいスキルを学ぶことができる学習者として捉えるべきだと強調しました。彼は人間の存在が効率的な汎用化と学習が可能であることを証明しており、SSIの目標を人間レベルの学習能力の実現に焦点を当てるべきであり、単に能力表の形式で製品を測定するべきではないと述べました。

安全性、展開、SSIの路線とタイムライン

イリヤはSSIが30億ドルを調達し、最前線の汎用化問題の研究に使用することを説明しました。彼は研究が必ずしも最大規模の計算能力を必要とするわけではなく、ボトルネックはアイデアであると考えています。タイムラインとしては、人間レベルの学習能力に達するには5〜20年かかると見積もっています。彼は段階的な展開を支持する理由として「想像するよりも見るほうが良い」と述べ、アラインメントにおいて「AIがすべての感知する存在に関心を持つようにする」ことを候補として提案し、人間とAIの融合を極端なアラインメントの解決策として言及しました。

Source posts