FLUX 3 マルチモーダルモデルリリース

Black Forest Labsは、画像、動画、音声を単一のフローアーキテクチャ内で統合するマルチモーダルモデル「FLUX 3」を公開した。世界の仕組みを学習することを目的とし、単なる生成ツールではなく「実世界モデル」として位置づけられている。3つの製品ラインを展開:Video(早期アクセス、最大20秒、ネイティブ音声対応、テキスト/画像/動画参照、キーフレーム、多言語対話、連鎖機能)、Image(数週間以内に公開、複雑なプロンプトと多言語テキストによる合成・編集)、Action(パートナーチャネル、ネイティブ行動予測、すでにロボティクス向けFLUX-mimicで使用)。モデルは「Flux 3 Dev」としてオープンソース化され、APIアクセスは数週間以内に開始予定。機能として、動画参照生成、動画/音声拡張、キーフレーム制御、スマートマルチショット編集、テキストアニメーション、画像出力などを含む。
Key insights
FLUX 3は、単一モダリティ生成から、クロスモーダル制約を学習する統合的世界モデルへのパラダイムシフトを表す
Black Forest Labsは、FLUX 3を画像、動画、音声、言語間の相互制約(例:音が衝撃に一致する、動きが質量に従う)を学習するために設計した。各モダリティを個別に訓練するよりも、この共同訓練により、より一貫性のある世界表現が得られると主張している。同じベースモデルがコンテンツ生成と具現化行動予測の両方に接続されており、狭い生成ツールではなく『実世界モデル』として位置づけられている。
オープンソースリリースと広範な機能セットにより、高度なマルチモーダル生成を開発者やクリエイターに提供することを目指す
Flux 3 Devはオープンソース化され、現在早期アクセスが可能で、APIアクセスは数週間以内に開始される。このモデルは、動画参照生成、キーフレーム制御、多言語対話、スマートマルチショット編集、画像出力など、クリエイティブおよび技術的なユースケースの両方に対応する幅広い機能をサポートしている。
行動予測とロボティクス応用の追加は、メディア生成を超えて具現化AIへの拡大を示す
FLUX 3のAction製品ラインは、ネイティブな行動予測を可能にし、動画バックボーンをロボティクスにおける微調整のためのダイナミクス基盤として利用できる。模倣ロボティクスやアウディのシナリオに適用されたFLUX-mimicプロジェクトは、この能力の初期の実世界利用を示している。