ヤン・ルカン、メタを離れAMIを設立; LLMスケーリングよりもワールドモデルを支持
ヤン・ルカンがメタを離れ、AMIを設立し、ワールドモデル研究を推進。
Key insights
ルカン、メタを離れAMIを設立しオープンワールドモデル研究を追求
ヤン・ルカンは、メタが閉鎖的で短期的なプロジェクトにシフトし、出版が減少したことを理由に65歳でメタを離れ、パリにアドバンスド・マシン・インテリジェンス(AMI)を設立したと発表しました。彼はAMIの使命を、上流の出版可能な研究を行いながら製品を構築することとし、FAIRで創造したオープンリサーチ文化を復活させ、出版とピアフィードバックを通じて科学者のモチベーションを維持することを目指しています。
ワールドモデルがLLMスケーリングに優る: ルカンの技術的批判
ルカンは、現在の大規模言語モデル(LLM)のスケーリングが人間レベルの実世界の知能を生み出す可能性は低いと主張しました。テキストだけでは、ビデオや具現化されたデータに見られるマルチモーダルな冗長性が欠けているためです。彼はトークンデータの限界を定量化し、10^14バイトのビデオがテキストに比べてはるかに少ない時間的カバレッジに相当すると述べ、埋め込み空間で予測し、予測不可能な低レベルの詳細を無視する抽象的表現予測アーキテクチャ(JEPA/I-JEPA)を促進しました。
方法論的系譜: オートエンコーダからJEPAおよびSigRegへ
ルカンは、20年にわたる教師なし学習の研究を辿り、初期のオートエンコーダ、正則化されたバリアント、次に対比的および非対比的な進展(バーロー・ツインズ、VICReg)を紹介しました。最近の共同研究により、SigRegを使用して等方的エンコーダ出力を強制するI-JEPAが生まれました。彼はJEPAスタイルのアーキテクチャを、マルチモーダルデータから抽象的予測表現を学習するための成熟したアプローチとして位置づけました。
AGIタイムライン、安全性、社会経済的見解
ルカンは「一般知能」という用語は誤解を招くものであると述べ、犬レベルの知能に到達するまでの楽観的な見積もりは5〜10年であり、さらに長いタイムラインの可能性があるとしました。彼はAIの安全性を、システム設計(制約、ワールドモデル)によって解決可能な工学的問題とし、テイクオーバーに関するパニックではなく、経済学者の見解や歴史的な技術的移行を引用して、差し迫った大量失業の主張を拒否しました。