XNews

人工智能视频生成的进展

人工智能视频生成的进展

LTX-2(开源)能够在消费级GPU上生成同步的4K视频、音频和口型同步,最长可达20秒;DreamID-V论文提出了一种配对数据策略,用于利用动作复制生成器进行监督视频换脸,以合成对齐的训练对。

Key insights

LTX-2开源Veo类模型生成4K 20秒同步视频+音频

LTX-2的发布被描述为Veo 3的开源继任者,能够生成端到端的4K视频,最长可达20秒,包括同步的声音和口型动作。根据相关帖子,它接受文本、图像或草图作为输入,生成比以往版本更长的序列,质量更高,吞吐量更快,并且可以在普通消费级GPU上运行。

DreamID-V通过动作复制创建监督配对以实现稳健的视频换脸

DreamID-V通过合成配对数据集来解决视频换脸问题:它训练一个动作复制模型以生成中间运动,应用基于图像的换脸技术对锚定帧进行处理,并利用动作模型生成配对换脸视频。在背景增强过程中,该方法针对原始真实视频(而非简单合成)进行监督训练,以便模型学习生成现实的前景-背景一致性。结果显示,身份相似性、表情保留、背景保真度和时间一致性都有所改善。

技术进步强调同步、时间一致性和消费级部署

LTX-2和DreamID-V的帖子都强调了时间一致性(无闪烁)、同步音频/口型动作、更长的连贯序列以及性能和质量的优化,使其能够在标准GPU上部署。DreamID-V专注于数据合成,以提供动态的密集监督;而LTX-2则强调集成生成管道。

Source posts