Google Android Bench 2.0、実際のAndroid開発をテスト

GoogleはAndroid Bench 2.0をリリースしました。これは、SignalやBitwardenなどの本番アプリを使用した実際のAndroid開発タスクにおけるモデルとコーディングエージェントの組み合わせを評価するベンチマークです。最高得点者にはGPT 6 Astra + CodexやClaude Fable 5.1 + Claude Codeが含まれますが、最大合格率はわずか28%です。XMLからComposeへの移行など多くのタスクでは、すべてのモデルで合格率がゼロとなっています。