Google、コーディングエージェント向け「Android Bench 2.0」を公開

Googleは、実際のAndroid開発タスクにおけるモデルとエージェントの組み合わせを評価するベンチマーク「Android Bench 2.0」を公開した。アプリ変換、ゼロからの構築、アーキテクチャ移行、新機能開発の4カテゴリにわたる30のタスクが含まれる。最高スコアは28%で、GPT-6 Astra+Codexがトップとなり、多くのタスクで合格率0%となった。
Key insights
Android Bench 2.0は実運用アプリで実際のAndroid開発をテスト
このベンチマークは、GoogleのAndroidベストプラクティス文書から派生したタスクを使用し、Signal、Bitwarden、Pocket Casts、WordPress、Now in Androidなどの実際のプロダクションアプリに適用される。GPT+Codex、Claude+Claude Code、Gemini+Antigravity、Kimi K3、Qwen 3.8 Maxなどのモデルとエージェントの組み合わせを評価する。
最高スコアは低く、合格率28%、多くのタスクで合格者ゼロ
GPT-6 Astra+CodexとClaude Fable 5.1+Claude Codeが上位2位を占めた。Qwen3.8 Max+Qwen CoderとKimi K3+Kimi Codeが続いた。Google自身のGeminiモデルは低い順位だったが、コスト面で優位性がある。複数のタスクで0/5の合格率となり、Flutter→AndroidおよびReact Native→Androidの変換すべて、さらにほとんどのXML→Compose移行が該当した。
アーキテクチャ移行タスクが最大カテゴリで最も困難
30タスクのうち13がアーキテクチャ移行(XML ViewからCompose、HiltからKoin、RetrofitからKtor、JavaからKotlin)を含む。これらは特に困難で、多くのモデルが0/5のスコアだった。結果は、AIがコードを書ける一方で、既存のアーキテクチャを理解しリファクタリングすることは依然として大きな課題であることを示している。