XNews

Qwen-MM-Plugins:マルチモーダルエージェントツールキット

Qwen-MM-Plugins:マルチモーダルエージェントツールキット

Qwenチームは、Qwen-MM-Pluginsをリリースしました。これは、画像、動画、文書、音声、3Dモデリング機能をMCP経由で任意のエージェントハーネスに統合する、ネイティブなマルチモーダルプラグインのセットです。 - アーキテクチャは、各機能をスキル(ツールを使用するタイミングをモデルに指示するSKILL.mdプロンプト)と、最初の呼び出し時にプルされるオプションのMCPサーバーに分離しています。 - 7つのモジュール:Core(ビジョン、OCR、グラウンディング、セグメンテーション、ASR、検索)、Video-Memory(2時間以上の動画向け階層型メモリ)、Omni-AV(タイムスタンプと話者ラベル付きの音声・動画)、Video-Edit(生成と編集)、Blender(Blenderシンクライアントによる3Dモデリング)、FreeCAD(FEM対応パラメトリックCAD)、Edu-Agent(数学・科学の問題解説動画生成)。 - これにより、純粋なテキストエージェントが再トレーニングなしでマルチモーダルネイティブになります。

Key insights

モジュール型MCPベースのアプローチがマルチモーダルエージェントのアップグレードを簡素化

ツールをエージェントコードから分離し、オンデマンドのMCPサーバーを使用することで、Qwen-MM-Pluginsは、コアアーキテクチャを変更することなく、任意のテキストエージェントが即座にビジョン、音声、3Dスキルを獲得できるようにします。マークダウンでのスキル定義により、ツールを呼び出すべきタイミングも透明になります。

Source posts