XNews

Artificial AnalysisとGoogle DeepMindが視覚的エージェント作業向けMKAベンチマークを発表

Artificial AnalysisとGoogle DeepMindが視覚的エージェント作業向けMKAベンチマークを発表

Artificial AnalysisはGoogle DeepMindと提携し、Multimodal Knowledge Agent(MKA)評価を開始した。これは10業界にわたる200の非公開実世界視覚タスクのベンチマークで、エージェントはスライドデッキ、スプレッドシート、マークアップ画像などの成果物を生成することが求められる。Claude Fable 5.2がClimb WSR 57%でリーダーボード首位、Gemini 4 Carbonが54%、Claude Opus 5.5が53%で続き、10業界すべてで首位となる単一モデルは存在しない。

イベントのバージョン 1.

Key insights

ベンチマークの範囲とタスク設計

MKAベンチマークは10業界にわたる200の非公開実世界視覚タスクで構成され、エージェントは建築図面、エンジニアリング回路図、臨床スキャンなどの高密度な視覚プロジェクトファイルを扱う。成果物にはスライドデッキ、スプレッドシート、PDF、Word文書、マークアップ画像が含まれる。

Climb対Regressionのルーブリック採点

各タスクは平均約70の重み付き基準からなる専門家ルーブリックで採点され、Regressionベースライン確認とより難しいClimb基準に分かれる。主要スコアはClimb WSRで、Climbルーブリック基準のうち正常に完了した重み付き割合である。

評価ハーネスとジャッジ

各タスクは、コード実行、ウェブ検索、ウェブフェッチ、画像閲覧ツールを備え最大250ターンまで実行できるオープンソースのエージェントハーネスStirrup上で実行される。提出された成果物はGPT-6 Luna(medium)をエージェント型ジャッジとして採点される。

リーダーボード結果

Claude Fable 5.2(max)がClimb WSR 57%で首位、Gemini 4 Carbon(high)が54%、Claude Opus 5.5(max)が53%で続く。10業界すべてで首位となる単一モデルは存在しない。

コスト対性能の分布

Claude Fable 5.2は1タスク平均31.97ドルで、約2ポイント差でGemini 4 Carbonの6.29ドルの5倍以上、GPT-6.1 Solの1.11ドルの約29倍となる。Carbon以下では、テストされたOpenAIの4モデルすべてがコスト対性能のパレートフロンティア上に位置し、残りをClaude Haiku 5.5とMiMo-V2.6-Proが占める。

Source posts