AI動画生成の進展

LTX-2(オープンソース)は、消費者向けGPU上で最大20秒の同期した4K動画、音声およびリップシンクを生成できる。DreamID-Vの論文は、アクションコピー生成器を使用して整列したトレーニングペアを合成するための監視付き動画フェイススワップのためのペアデータ戦略を提示している。
Key insights
LTX-2オープンソースVeo類似モデルが生成する4K 20秒同期動画+音声
LTX-2のリリースは、同期した音声とリップ動作を含む最大20秒のエンドツーエンド4K動画を生成できるVeo 3のオープンソースの後継として説明されている。テキスト、画像、またはスケッチを入力として受け入れ、以前のバージョンよりも高品質で高速なスループットで長いシーケンスを生成し、一般的な消費者向けGPU上で動作するという投稿がある。
DreamID-Vがアクションコピーを通じて堅牢な動画フェイススワップのための監視ペアを生成
DreamID-Vは、ペアデータセットを合成することによって動画フェイススワップに取り組んでいる。アクション複製モデルを訓練して中間動作を生成し、画像ベースのフェイススワップをアンカーフレームに適用し、アクションモデルを使用してペアスワップ動画を生成する。背景拡張中、この方法論は元の真の動画(単純な合成ではなく)に対して監視を訓練し、モデルが現実的な前景と背景の一貫性を生成することを学ぶようにしている。結果は、アイデンティティの類似性、表現の保持、背景の忠実度、時間的整合性の改善を示している。
技術的進展が同期、時間的整合性、消費者向け展開を強調
LTX-2とDreamID-Vの投稿は、時間的整合性(ちらつきなし)、同期した音声/リップ動作、より長い一貫したシーケンス、標準GPU上での展開を可能にするパフォーマンスと品質の最適化の改善を強調している。DreamID-Vは動態に対する密な監視を提供するためにデータ合成に焦点を当てており、LTX-2は統合生成パイプラインを強調している。