WeChat、WeMM-Embeddingをオープンソース化:2Bモデルが8BのQwen3-VLを上回り、9BモデルがMMEB-v2でトップに

WeChatは、Qwen3.5をベースとしたマルチモーダルエンベディングモデル「WeMM-Embedding」を2B/4B/9Bのサイズでオープンソース化した。2BバージョンはMMEB-v2で77.9を達成し、Qwen3-VL-Embedding 8B(77.8)を上回った。一方、9Bバージョンは80.6を記録し、ベンチマークで首位に立った。本モデルは、テキスト、画像、動画、ビジュアルドキュメントをインターリーブ形式で入力として受け付け、1回のフォワードパスで2つのベクトル(純動画ベクトルと動画+キャプションベクトル)を出力可能。マトリョーシカ次元は64から4096まで対応し、2Bモデルは256次元でもパフォーマンスの98.7%を維持する。トレーニングには、数億の(指示、ソース、ターゲット、ハードネガティブ、段階的関連性)の五つ組データを使用し、密度リサンプリングとMLLM補正による厳選サブセット、InfoNCE、CoSENT、リランカー監視、凍結された9B教師からのエンベディング蒸留を含む2段階プロセスを採用。WeChatチャンネル、公式アカウント、モーメンツ、およびECレコメンデーション/検索に展開され、14のA/Bテストすべてで良好な結果が得られた。