XNews

ブラックフォレストラボ、マルチモーダルモデル「FLUX 3」を発表

ブラックフォレストラボ、マルチモーダルモデル「FLUX 3」を発表

ブラックフォレストラボは「FLUX 3」をリリースし、これを単なるテキスト動画変換やテキスト画像生成システムではなく「現実世界モデル」と位置づけた。画像、動画、音声を単一のマルチモーダルフローアーキテクチャに統合し、世界の動作を学習。同一のバックボーンを使用してコンテンツ生成と具現化・行動予測を行う。その根拠として、画像は空間構造、動画は時間と物理法則、音声は因果的な音響的手がかり、言語は目標と指示を提供し、これらを同時に学習することで世界表現に近い相互制約が得られるとしている。3つの製品ラインが発表された。動画(早期アクセス)は最大約20秒に対応し、ネイティブ音声、テキスト/画像/動画参照、継続生成、キーフレーム、多言語対話、長編作品向けのチェーン機能を備える。画像(数週間以内)は複雑なプロンプトによる合成・編集、多言語テキスト、向上したスタイルと解像度を提供する。行動(パートナーチャネル)はネイティブな行動予測、または動画バックボーンの動力学モデルとしての微調整を可能にし、ロボット工学やAudiシナリオ向けのFLUX-mimicで既に使用されている。本モデルはFlux 3 Devとしてオープンソース化され、早期アクセスは現在可能、APIアクセスは数週間以内に開始され、その後オープンソースリリースが行われる。機能にはテキスト動画変換、画像動画変換、動画参照生成、動画・音声拡張、キーフレーム制御、多言語対話、多様なビジュアルスタイルとアスペクト比、スマートクリップチェーン、テキスト・アニメーション生成、画像出力が含まれる。

Key insights

FLUX 3の統合型マルチモーダルアーキテクチャ、メディア生成を超え世界力学の学習を目指す

ブラックフォレストラボはFLUX 3を、画像、動画、音声、言語の相互作用から学習する「現実世界モデル」と明確に位置づけている。これらのモダリティを一緒にトレーニングすることで、質量に一致する動きや衝撃に一致する音といった物理的制約をモデルが捉える。これは典型的な生成モデルを超えたものであり、ロボット工学やシミュレーションなど因果的理解を必要とするタスクでのパフォーマンス向上につながる可能性がある。

FLUX 3のオープンソースリリース、高度なマルチモーダル生成を民主化

Flux 3 Devの計画されたオープンソースリリースは、AIエコシステムに多大な影響を与えると予想される。過去のFLUXモデルは広く採用されており、動画、音声、行動機能を備えた完全なマルチモーダルモデルがオープンライセンスで利用可能になれば、Stable Diffusionが画像生成を促進したように、コンテンツ作成、ロボット工学、研究におけるイノベーションを加速させる可能性がある。

Source posts