XNews

ビデオ2.6:音声視覚同期生成モデル

ビデオ2.6:音声視覚同期生成モデル

Kling AIは、単一モデルの音声視覚同期生成器であるビデオ2.6を発表しました。 - ビデオ2.6は、1回の推論で音声と映像を生成します。 - モデルは直接音声を生成し、外部の吹き替えの必要を排除します。 - 中国語と英語の多キャラクター対話をサポートします。 - 環境音や感情的な声の合図を生成します。 - リップシンク、リズム、感情トーンが映像と一致します。 - 1080p解像度で5秒および10秒のクリップを出力します。 - モデルは、前の世代に比べてシーンの移行、カメラの連続性、動きの安定性を改善します。 - システムは、雨、足音、爆発などの環境音を自動的にマッチングします。

Key insights

ビデオ2.6はエンドツーエンドの音声と映像生成を提供

Kling AIのビデオ2.6は、単一の推論で音声と映像の共同生成を行い、別々の吹き替えやポストプロダクションなしで音と画像を生成します。投稿によると、このモデルは音声、環境効果、感情的な声を合成できるため、音声と映像が本質的に同期され、リップムーブメントやリズムも含まれます。

多言語対話と豊かな環境音が含まれる

ビデオ2.6は、中国語と英語の多キャラクター対話、環境音(風、足音、衝突)、および感情特有の声の合図(緊張、リラックス、神秘)をサポートします。また、モデルは生成の一部として雨、波、ドア、機械音などの環境効果を自動的に割り当てます。

改善された連続性と短編1080p出力

リリースノートによると、ビデオ2.6は、以前のバージョンと比較してアクションの連続性、シーンのカット、キャラクターの一貫性を改善しています。モデルは、1080pで安定した5秒および10秒のクリップを出力し、以前のAIビデオシステムで一般的なフレームジャンプアーティファクトや不一致な表情を減少させます。

Source posts