XNews

实时多模态框架和视频模型

实时多模态框架和视频模型

Runway发布了新的视频模型和世界模型;TEN框架提供了一个实时多模态代理堆栈。- Runway推出了Gen 4.5,具备原创音频生成和编辑功能。- ALF支持一致的人物和光照的多镜头、可变长度视频编辑。- GWM1世界模型支持自回归帧预测和实时干预。- GWM Avatars实现了基于音频的实时视频生成,具备微表情。- GWM Robotics模型模拟成功和失败的互动,用于机器人训练。- TEN框架是一个开源运行时,支持实时音频/视频与LLM代理。- TEN提供了一个可视化图形编辑器、多语言运行时和边缘云集成,以提高性能/延迟。- TEN解决了构建实时助手时的粘合代码、延迟和跨语言复杂性问题。

Key insights

Runway通过音频原生编辑和世界模型扩展视频生成

Runway宣布推出Gen 4.5视频模型,能够生成和编辑原创音频,ALF模型用于一致的多镜头编辑,以及GWM1,一个自回归世界模型,支持逐帧预测和实时用户干预。他们还推出了GWM Avatars,实现了基于音频的实时视频生成,具备逼真的动作和微表情,以及GWM Robotics,用于模拟机器人训练中的成功和失败场景。

TEN框架针对实时多模态代理的集成缺口

TEN框架提供了一个工业级的开源堆栈,用于实时多模态代理,结合了可视化图形编辑器(TEN Designer)、支持C++、Python和Go的多语言运行时,以及边缘云编排。TEN解决了STT/LLM/TTS链中的粘合代码复杂性、延迟累积和跨语言运行时问题,以实现可中断的低延迟音频/视频助手。

Source posts