Artificial Analysis、ライフサイエンスの視覚推論向けリーダーボード「VIALS-AA」を公開

Artificial Analysisは、Handshake AIのVIALSベンチマーク向けリーダーボード「VIALS-AA」を公開した。このベンチマークは、ライフサイエンスとバイオテクノロジーにおける視覚推論を、8領域・161タスクで評価する。Gemini 4 Carbon(high)が64%で首位、GPT-6 Astra(max)が63%で続き、Claude Opus 5.5(max with fallback)が61%で3位。オープンウェイトモデルではKimi K3.1 Proが45%で首位となった。
イベントのバージョン 1.
Key insights
上位3モデルは3ポイント差
Google DeepMindのGemini 4 Carbon(high)が64%で首位、OpenAIのGPT-6 Astra(max)が63%で続き、AnthropicのClaude Opus 5.5(max with fallback)が61%で3位となった。
タスクあたりのコストは大きく異なる
Claude Opus 5.5(max with fallback)は1タスクあたり平均1.64ドルで、GPT-6.1 Sol(max)の約0.056ドルと比べて約29倍のコストがかかる。GPT-6 Astra(max)とGPT-6.1 Sol(max)は1タスクあたり平均約8ターンであるのに対し、Claude Opus 5.5(max with fallback)は約27ターン、Claude Sonnet 5.5(max with fallback)は約25ターンだった。
オープンウェイトモデルは約19ポイント差
Kimi K3.1 ProがVIALS-AAのオープンウェイトモデルで45%と首位、MiMo-V2.6-Proが43%で僅差で続いた。
14タスクで安全性拒否
161タスクのうち14タスクで、少なくとも1つのモデルが安全性を理由に拒否した。Claude Sonnet 5.5(max with fallback)は6タスクで拒否し、全モデル中最多だった。影響を受けた14タスクのうち半数では、複数のモデルが拒否した。
評価方法
各タスクは、コード実行と画像検査ツールを備えたオープンソースのエージェントハーネス「Stirrup」で3回実行される。GPT-6 Luna(medium)が各回答を参照回答と照合して採点し、3回の繰り返しすべてで正解と判定されたタスクの割合(pass^3)が報告される。