Claude Fable 5.2、VIALS-AA科学視覚推論ベンチマークで67%を記録し首位

Claude Fable 5.2(max with fallback)は、ゲルブロット、プラスミドマップ、系統樹を対象とする生命科学の視覚推論ベンチマークVIALS-AAで67%を獲得し、Gemini 4 Carbon(high)の64%、GPT-6 Astra(max)の63%を上回った。Fableは1タスクあたり平均約37回のツール呼び出しを行ったのに対し、Astraは平均約8回で、テストされたモデルの中で最少だった。Fableは51ターンのうち28ターンで呼び出しをバッチ処理し、1ターンあたり平均1.75回のツール呼び出しを行ったのに対し、Sonnet 5.5は1.12回だった。
イベントのバージョン 1.
Key insights
Fable 5.2がVIALS-AAで首位
Claude Fable 5.2(max with fallback)はVIALS-AAで67%を獲得し、Gemini 4 Carbon(high)の64%、GPT-6 Astra(max)の63%を上回った。
ツール呼び出し回数はモデルファミリーで分かれる
Fableは1タスクあたり平均約37回のツール呼び出しを行うのに対し、GPT-6 Astraは平均約8回で、テストされたモデルの中で最少だった。Anthropicのモデルは進歩するにつれてツール呼び出しが増える一方、OpenAIのモデルは減少する。
Fableはターンをまたいでツール呼び出しをバッチ処理
Fableは51ターンのうち28ターンで呼び出しをバッチ処理し、1ターンあたり平均1.75回のツール呼び出しを行った。Sonnet 5.5は1.12回だった。
タンパク質相互作用タスクでの段階的視覚分析
ターン4でFableはクロップを作成して表示を要求し、ターン10では色チャネルを閾値処理してカラーマスクを構築し、ターン17では各弧に円をフィットさせて弧を直線ストリップに展開し、ターン31では強度プロファイルのピークとしてバーを数え、ターン41では検出されたすべてのスポークを元の画像にマッピングして作業を確認した。
ベンチマークの範囲
VIALS-AAは、ゲルブロット、プラスミドマップ、系統樹などのアーティファクトにわたる生命科学研究の視覚推論に関するHandshake AIのVIALSベンチマークの実装である。