XNews

ヤン・ルカン、メタを離れ世界モデル研究のためにAMIを設立

ヤン・ルカンは、メタの閉鎖性の高まりと短期的な焦点を理由に、パリにAMIを設立するためにメタを離れました。彼は、膨大なテキストで訓練された現在のLLMアプローチでは、視覚/動画データや抽象的な世界モデルが必要であるため、人間レベルの現実理解には到達できないと主張しています。ルカンは、ピクセルではなく抽象的な表現空間で予測を行う共同埋め込み予測アーキテクチャ(JEPA / I-JEPA)を提唱しています。彼は安全性をエンジニアリング制約のセットとして位置付け、AMIが研究をオープンに発表することを約束し、人間に似た世界モデルに向けた実質的な進展には5〜20年の時間枠を示しています。

Key insights

現実の知性には世界モデルが必要

ルカンは、主にテキストで訓練されたトランスフォーマーLLMが物理世界のダイナミクスを捉えることができないと主張しています。代わりに、モデルは抽象的な潜在空間で世界のダイナミクスを学ぶ必要があります。彼は、動画が物理法則を学ぶための信号がテキストよりも密で情報量が多いことを説明し、ピクセルレベルの予測は予測不可能なノイズのために失敗すると述べています。

提案されたアーキテクチャとしてのJEPA/I-JEPA

ルカンは、入力とターゲットを抽象的な表現にエンコードし、その空間で予測を行う共同埋め込み予測アーキテクチャ(JEPAおよびI-JEPA)を説明しています。彼は、これらのアプローチがノイズの多い入力を再構築するように表現を強制することを避けることを指摘し、最近の手法(バーロー・ツインズ、VICReg、SigReg)がこの方向性に影響を与えたと述べています。

オープン性と長期的研究を守るためのAMI設立

ルカンは、FAIRのオープン性が製品のタイムラインと秘密主義の高まりとともに減少したため、メタを離れました。彼は、世界モデルを使用する製品を構築しながら、上流で発表可能な研究を行うためにAMIを設立したと主張し、科学的検証にはオープンな発表が必要であると述べています。

AGIに関するタイムラインと現実主義

ルカンは短期的なAGIのタイムラインを否定し、人間レベルの世界モデルに到達するには、犬レベルの知能に達するまでに少なくとも5〜10年、さらなるマイルストーンには20年またはそれ以上が必要であると述べています。彼は歴史的な教訓とモラベックの逆説を引き合いに出し、楽観主義を和らげています。

エンジニアリング制約としての安全性の枠組み

ルカンは、AIの安全性を微調整に依存するのではなく、厳しい制約を持つアーキテクチャの設計というエンジニアリングの問題として扱っています。彼は、制約を埋め込むアーキテクチャと、主に微調整され、脱獄の対象となるLLMを対比させています。

オープン性とグローバルなモデルの状況

ルカンは、主要な米国の研究所での閉鎖的な開発の傾向に言及しつつ、中国のエコシステムの一部におけるオープン性を称賛しています。彼は、オープンソースモデル(例:Mistral)が研究の再現性とコミュニティの進展にとって重要であると述べています。

Source posts