XNews

字节跳动SeedRealtime与豆包视频通话升级

字节跳动SeedRealtime与豆包视频通话升级

字节跳动于2026年8月5日升级了豆包视频通话功能,该功能由原生音视频全双工大模型SeedRealtime驱动。升级后实现主动交互:持续视觉感知使模型在视觉状态变化时主动发言,例如在博物馆中当指定展品出现在摄像头视野内时向参观者发出提醒。在测试中,该模型正确识别了YouTube直播中的一个人物,并低延迟解读了短暂显示的图表。语音交互自然且无外国口音,能区分日常对话与背景噪音,减少误触发。该功能无需内部测试,用户只需更新豆包App,点击电话图标并开启摄像头即可使用。下一步计划包括降低延迟、更自然的节奏、主动决策以及在复杂多人场景中的稳定性。长期目标是从“能说”进化到“能做”,将多模态理解与查询、预订、任务执行等现实任务结合,预计将影响具身机器人发展。

Key insights

豆包视频通话低延迟与自然语音表现优于GPT Live

测试显示,豆包升级后的视频通话功能能够识别实时流中的人物并解读短暂显示的图表,对话延迟低于GPT Live。其语音被描述为自然,没有某些模型典型的外国口音,让人感觉像在进行真人对话。该功能已在豆包App中全面上线,无需内部测试限制。

SeedRealtime的主动视觉感知实现上下文驱动提醒,无需持续提示

该模型利用持续视觉感知,仅在相关目标物体出现时启动语音,博物馆案例展示了这一点:用户要求在看到特定文物时收到提醒。在参观展览过程中,模型默默观察摄像头画面,仅当物品进入画面时发言,避免了不必要的干扰。这种主动交互提升了节奏和流畅度,同时保持了对背景噪音的抗干扰能力。

Source posts