黑森林实验室发布FLUX 3多模态模型

黑森林实验室发布了FLUX 3,将其定位为“真实世界模型”,而非仅仅是文本转视频或文本转图像系统。该模型将图像、视频和音频整合到单一的多模态流架构中,以学习世界运作方式,并使用相同的骨干网络进行内容生成与具身/动作预测。其核心理念是:图像提供空间结构,视频增添时间与物理特性,音频贡献因果声学线索,语言则提供目标与指令;将这些模态共同训练,能产生更接近世界表征的相互约束。同时发布了三条产品线:视频(早期访问)支持最长约20秒内容,具备原生音频、文本/图像/视频参考、续写、关键帧、多语言对话以及用于长片的智能拼接功能。图像(未来几周推出)提供复杂提示词合成与编辑、多语言文本以及改进的风格与分辨率功能。动作(合作伙伴渠道)支持原生动作预测或对视频骨干网络进行微调作为动力学模型,已应用于FLUX-mimic的机器人技术和奥迪场景。该模型将作为Flux 3 Dev开源发布;现已开放早期访问,API访问将在未来几周内开放,随后进行开源发布。功能包括文本转视频、图像转视频、视频参考生成、视频和音频扩展、关键帧控制、多语言对话、多样视觉风格与宽高比、智能片段拼接、文本与动画生成及图像输出。
Key insights
FLUX 3的统一多模态架构旨在学习世界动态,而非仅生成媒体
黑森林实验室明确将FLUX 3定位为“真实世界模型”,从图像、视频、音频和语言的相互作用中学习。通过共同训练这些模态,模型能够捕捉物理约束,例如运动匹配质量、声音匹配冲击。这超越了典型的生成模型,并可能提升在需要因果理解的任务(如机器人技术和仿真)中的性能。
FLUX 3的开源发布将推动先进多模态生成的普及
Flux 3 Dev的计划开源发布预计将对人工智能生态系统产生重大影响。此前FLUX模型已被广泛采用;一个具备视频、音频和动作能力的全功能多模态模型在开源许可下发布,可能会加速内容创作、机器人技术及研究领域的创新,类似于Stable Diffusion对图像生成的推动作用。