Artificial Analysis 推出面向生命科学视觉推理的 VIALS-AA 排行榜

Artificial Analysis 推出了 VIALS-AA,这是 Handshake AI 的 VIALS 基准测试的排行榜,该基准测试涵盖八个领域共 161 项任务,用于评估生命科学和生物技术领域的视觉推理能力。Gemini 4 Carbon(high)以 64% 的准确率领先,GPT-6 Astra(max)以 63% 紧随其后,Claude Opus 5.5(max with fallback)以 61% 位列第三,而 Kimi K3.1 Pro 以 45% 在开放权重模型中排名最高。
事件版本 1.
Key insights
前三名模型相差 3 个百分点
来自 Google DeepMind 的 Gemini 4 Carbon(high)以 64% 领先,OpenAI 的 GPT-6 Astra(max)以 63% 紧随其后,Anthropic 的 Claude Opus 5.5(max with fallback)以 61% 位列第三。
每项任务成本差异显著
Claude Opus 5.5(max with fallback)平均每项任务成本为 1.64 美元,约为 GPT-6.1 Sol(max)的 29 倍,后者约为 0.056 美元。GPT-6 Astra(max)和 GPT-6.1 Sol(max)平均每项任务约需 8 轮,而 Claude Opus 5.5(max with fallback)约为 27 轮,Claude Sonnet 5.5(max with fallback)约为 25 轮。
开放权重模型落后约 19 个百分点
Kimi K3.1 Pro 在 VIALS-AA 上以 45% 领先开放权重模型,略微领先于 MiMo-V2.6-Pro 的 43%。
14 项任务出现安全拒绝
161 项任务中有 14 项至少在一个模型上出现安全拒绝。Claude Sonnet 5.5(max with fallback)在 6 项任务上拒绝,为所有模型中最多的,且 14 项受影响任务中有一半出现了多个模型的拒绝。
评估方法
每项任务在 Stirrup(一个具有代码执行和图像检查工具的开源智能体框架)中运行三次。GPT-6 Luna(medium)根据参考答案对每个答案进行评分,并报告三次重复中均被判定为正确的任务比例(pass^3)。