视频2.6:音视频同步生成模型

Kling AI发布了视频2.6,这是一个单模型音视频同步生成器。 - 视频2.6在一次推理中生成音频和视频。 - 模型直接生成语音,消除了外部配音的需求。 - 支持双语(中文/英文)多角色对话。 - 生成环境声音和情感语音提示。 - 唇形同步、节奏和情感语调与视觉效果一致。 - 输出5秒/10秒的1080p分辨率片段。 - 模型改善了场景切换、镜头连续性和运动稳定性,相较于之前的版本。 - 系统自动匹配环境声音,如雨声、脚步声和爆炸声。
Key insights
视频2.6实现端到端音视频生成
Kling AI的 视频2.6 在一次推理中执行联合音视频生成,能够同时生成声音和图像,无需单独配音或后期制作。发布说明指出,该模型可以合成声音、环境效果和情感表达,使音频和视觉内在同步,包括唇部动作和节奏。
支持多语言对话和丰富的环境音频
视频2.6支持中文和英文多角色对话、环境声音(风声、脚步声、碰撞声)以及特定情感的语音提示(紧张、放松、神秘)。该模型还自动分配环境效果,如雨声、海浪声、门声和机械噪音,作为生成的一部分。
改善连续性和短格式1080p输出
发布说明声称,视频2.6相比于之前的版本改善了动作连续性、场景切换和角色在镜头中的一致性。该模型以稳定的1080p输出5秒和10秒的片段,减少了早期AI视频系统中常见的帧跳跃伪影和表情不匹配的问题。