XNews

Meta在美国Muse应用中推出Muse Realtime Avatar

Meta在美国Muse应用中推出Muse Realtime Avatar

Meta在美国Muse应用中发布了Muse Realtime Avatar,这是一项实时具身技术,可将Muse Realtime Voice转化为富有表现力、可交互的虚拟形象。该系统从共享的语音令牌流中生成同步的面部、手部和全身动作,在对话轮次中保持外观和举止的连贯性。

事件版本 1.

Key insights

共享令牌流同步语音与视觉

Muse Realtime Voice产生携带内容和表达方式的语音令牌流。Muse Realtime Avatar消费同一流以生成相应的视觉表现,保持语音、唇部动作和表情同步。

音频驱动的扩散Transformer架构

Muse Realtime Avatar是一个音频驱动的扩散Transformer,以语音令牌流、参考媒体和近期视频潜变量的滚动窗口为条件。它以短因果块生成视频,在保持计算有界的同时延续外观和举止。

蒸馏将推理速度提升60倍

一个高质量的双向教师模型使用40个扩散步骤和三向无分类器引导,每个块需要120次模型评估。一个蒸馏的两步学生模型在两次无引导评估中重现此过程,减少了60倍,同时密切保持教师质量。

任何参考图像都能成为活灵活现的角色

以参考媒体为条件,虚拟形象将摄影肖像、全身插图、动物和日常物品带入实时对话,具有富有表现力的面部、手部和全身运动。

Source posts