XNews

实时多模态代理框架(TEN,Skywork)

实时多模态代理框架(TEN,Skywork)

新的框架和应用程序旨在实现实时多模态代理编排和品牌声音自动化。- TEN框架:开源、基于图的实时音频/视频与大型语言模型(LLM)编排运行时;可视化TEN设计器用于拖放管道。- TEN支持多语言运行时(C++用于实时通信,Python用于LLM逻辑,Go用于高并发)和边缘云分发。- TEN包括按需加载、低延迟处理以及用于模块和连接器的标准化总线。- Skywork移动版v5.0增加了语音笔记转录、格式化、自动生成待办事项和多代理导出(PPT、社交帖子、播客、海报)。- 评论认为品牌将采用持久的数字化身(声音营销),代理将把客户声音连接到产品和内容工作流程。

Key insights

TEN框架实现模块化实时音频/视频与LLM管道

TEN提供一个基于图的可视化设计器,用于构建实时管道(麦克风 -> 降噪 -> 自动语音识别 -> LLM -> 文本转语音),并提供一个多语言运行时,在C++中运行高性能音频路径,同时在Python中托管LLM逻辑。它支持边缘云分割以优化延迟和成本,并标准化模型和工具的插件连接器。

Skywork移动应用展示多代理、多输出工作流程

Skywork v5.0移动版增加了语音笔记功能,可以转录、格式化、提取行动项,并能够并行运行多个代理以导出输出(PPT、社交媒体内容、播客、海报),展示了实用的移动代理工作流程。

品牌将在营销和产品反馈循环中实现语音启用代理

分析表明,企业将部署持久的数字品牌代理,以捕捉客户声音、生成内容,并将洞察反馈到产品和支持系统,从而创建连贯的跨部门知识流。

Source posts