XNews

Qwen-MM-Plugins 多模态智能体工具包

Qwen-MM-Plugins 多模态智能体工具包

Qwen团队发布了Qwen-MM-Plugins,这是一套原生多模态插件,通过MCP将图像、视频、文档、音频和3D建模能力集成到任何智能体框架中。该架构将每种能力分离为一个技能(一个SKILL.md提示,告诉模型何时使用该工具)和一个可选的MCP服务器,在首次调用时拉取。七个模块:核心(视觉、OCR、定位、分割、ASR、搜索)、视频记忆(针对2小时以上视频的分层记忆)、全向音视频(带时间戳和说话人标签的音视频)、视频编辑(生成与编辑)、Blender(通过Blender瘦客户端进行3D建模)、FreeCAD(带有限元分析的参数化CAD)以及教育智能体(数学/科学问题讲解视频生成)。这使得纯文本智能体无需重新训练即可成为多模态原生智能体。

Key insights

基于模块化MCP的方法简化多模态智能体升级

通过将工具与智能体代码解耦并使用按需MCP服务器,Qwen-MM-Plugins使任何文本智能体无需修改其核心架构即可立即获得视觉、音频和3D技能。Markdown中的技能定义也使得工具何时被调用变得透明。

Source posts