XNews

AI動画生成:リアルタイムライブ配信とトーキングアバター

AI動画生成:リアルタイムライブ配信とトーキングアバター

AI動画生成ツール「YoLive」と「video-ai-talking」が、リアルタイムのプロンプト駆動型ライブ配信とローカルでのトーキングアバター合成の新機能を導入した。MiniMax H3のオープンソース化後、高速動画生成モデルが相次いで登場。YorollはH3 Superfastモデルを公開し、10秒の動画を4秒で生成する。YoLiveは、ユーザーがプロンプトを投稿し、最も投票されたプロンプトが進行中のAI生成ストーリーの次のセグメントを決定するライブ配信製品で、終わりのないライブストリームを実現する。このコンセプトは、開かれた民主的な投票メカニズムによる集合知を探求する。video-ai-talkingは、無音のトーキングヘッド動画とテキストから、音声、リップシンク、字幕付きの縦型MP4を生成するオープンソースツール。音声にはVolcengineまたはAlibaba Bailianを使用し、Bailianでリップシンク、FFmpegで字幕を合成。スクリプトの長さは15~60秒で、手書きまたはDeepSeekで生成可能。このツールは行ごとの動画置き換え、複数の字幕スキン、APIキーをブラウザに保存するローカル処理のみに対応し、クラウドサーバーは不要。参照動画は人物がスクリプトを話す必要がなく、顔がはっきりしていればよく、再利用が容易。

Key insights

超高速動画生成モデルがリアルタイムAIライブ配信を可能に

MiniMax H3のオープンソース化により、高速動画生成モデルの波が生まれた。YorollのH3 Superfastモデルは、10秒の動画をわずか4秒で生成し、プロンプト入力速度を上回る。この速度により、終わりのないAIライブ配信が可能になる。

YoLiveの投票メカニズムがAI生成ストーリーテリングを民主化するが、結果は不確か

YoLiveは誰でもプロンプトを投稿できるが、最も多くの投票を得たプロンプトが継続的なライブ配信の次のストーリーセグメントを決定する。この製品は集合知のテストとされ、結果が素晴らしいものになるか凡庸なものになるかは未知数。民主的な投票設計は興味深い製品アイデアと見なされている。

video-ai-talkingがローカル処理とプライバシー重視でトーキングヘッド動画作成を簡素化

オープンソースツールvideo-ai-talkingは、無音の正面動画とテキストスクリプトから、音声(VolcengineまたはAlibaba Bailian)、Bailianによるリップシンク、FFmpegによる合成を組み合わせて縦型MP4を生成する。スクリプトは手書きまたはDeepSeekで生成可能で、出力長は15~60秒。行ごとの動画置き換え、複数の字幕スキン、APIキーをブラウザにのみ保存するローカル処理により、クラウドサーバーへの依存がなく利便性が高い。

Source posts