Artificial Analysis与Google DeepMind联合推出面向视觉智能体工作的MKA基准测试

Artificial Analysis与Google DeepMind合作推出多模态知识智能体(MKA)评估,该基准包含横跨10个行业的200项私有真实世界视觉任务,要求智能体产出幻灯片、电子表格和标注图像等交付物。Claude Fable 5.2以57%的Climb WSR领跑排行榜,Gemini 4 Carbon以54%紧随其后,Claude Opus 5.5以53%位列第三,没有任何单一模型在全部10个行业垂直领域中均领先。
事件版本 1.
Key insights
基准范围与任务设计
MKA基准包含横跨10个行业的200项私有真实世界视觉任务,智能体需处理密集的视觉项目文件,包括建筑图纸、工程示意图和临床扫描影像。交付物包括幻灯片、电子表格、PDF、Word文档和标注图像。
Climb与Regression评分标准
每项任务均依据专家评分标准进行评分,平均约70项加权标准,分为Regression基线检查和难度更高的Climb标准。核心得分为Climb WSR,即成功完成的Climb评分标准加权比例。
评估框架与评判模型
每项任务均在Stirrup中运行,这是一个开源智能体框架,具备代码执行、网络搜索、网络抓取和图像查看工具,最多支持250轮交互。提交的交付物使用GPT-6 Luna(medium)作为智能体评判模型进行评分。
排行榜结果
Claude Fable 5.2(max)以57%的Climb WSR领先,Gemini 4 Carbon(high)以54%位居第二,Claude Opus 5.5(max)以53%位列第三。没有任何单一模型在全部10个行业垂直领域中均领先。
成本与性能分布
Claude Fable 5.2平均每项任务成本为31.97美元,是Gemini 4 Carbon(6.29美元)的5倍以上,而性能仅高出约2分;约为GPT-6.1 Sol(1.11美元)的29倍。在Carbon以下,所有四款受测OpenAI模型均位于成本-性能帕累托前沿,其余由Claude Haiku 5.5和MiMo-V2.6-Pro构成。