XNews

FLUX 3多模态模型发布

FLUX 3多模态模型发布

黑森林实验室发布了FLUX 3,这是一个多模态模型,将图像、视频和音频统一在单一流架构中,旨在学习世界如何运作。该模型被定位为“真实世界模型”而非单纯的生成工具,包含三条产品线:视频(早期访问,最长20秒并自带原生音频,支持文本/图像/视频参考、关键帧、多语言对话、链式操作)、图像(未来几周内推出,支持复杂提示和多语言文本的合成与编辑)以及动作(合作伙伴渠道,原生动作预测,已用于机器人领域的FLUX-mimic项目)。该模型将以Flux 3 Dev形式开源,API访问将在未来几周内开放。功能包括视频参考生成、视频/音频扩展、关键帧控制、智能多镜头编辑、文本动画和图像输出。

Key insights

FLUX 3代表从单模态生成到统一世界模型的范式转变,学习跨模态约束

黑森林实验室设计FLUX 3旨在从图像、视频、音频和语言之间的相互约束中学习——例如声音匹配冲击、运动遵循质量——并认为这种联合训练比单独训练每种模态能产生更连贯的世界表征。同一基础模型连接内容生成和具身动作预测,将其定位为“真实世界模型”而非狭隘的生成工具。

开源发布和广泛功能集旨在让开发者和创作者能够使用先进的多模态生成

Flux 3 Dev将开源,现已提供早期访问,API访问将在未来几周内开放。该模型支持广泛功能,包括视频参考生成、关键帧控制、多语言对话、智能多镜头编辑和图像输出,满足创意和技术用例。

动作预测和机器人应用的纳入标志着向具身AI的扩展,超越媒体生成

FLUX 3的动作产品线支持原生动作预测,并可将视频骨干网络作为动力学基础用于机器人领域的微调。FLUX-mimic项目已应用于模仿机器人和奥迪场景,展示了该能力的早期实际应用。

Source posts