XNews

Googleによる実世界のAndroid開発向けベンチマーク「Android Bench 2.0」

Googleによる実世界のAndroid開発向けベンチマーク「Android Bench 2.0」

Googleは、SignalやBitwardenなどの実利用アプリを使用して、実際のAndroid開発タスクにおけるモデル+エージェントの組み合わせを評価するベンチマーク「Android Bench 2.0」を発表した。30タスクからなるスイートには、アプリ変換、アーキテクチャ移行、新機能開発が含まれる。最高スコアは28%に達し、GPT-6 Astra+CodexとClaude Fable 5.1+Claude Codeが首位となった一方、多くのXML-to-Compose移行タスクでは全モデルがゼロパスだった。

Key insights

ベンチマークの設計とタスクカテゴリ

Android Bench 2.0は、GoogleのAndroidベストプラクティスに基づく30のタスクでモデル+エージェントのペアを評価し、実際のプロダクションアプリを使用する。カテゴリには、アプリ変換(Flutter/React NativeからネイティブAndroidへ)、ゼロからのアプリ構築、アーキテクチャ移行(XMLからCompose、HiltからKoinなど)、新機能開発(CameraX、Media3、ピクチャーインピクチャー)が含まれる。アーキテクチャ移行が最大のカテゴリで13タスクを占める。

結果:トップモデルが28%の合格率を達成、多くのタスクは未達成

GPT-6 Astra+CodexとClaude Fable 5.1+Claude Codeが28%の合格率で首位に並んだ。Qwen3.8 Max+Qwen CoderとKimi K3+Kimi Codeがそれに続いた。Google自身のGeminiモデルは低い順位となったが、コスト面で優位性がある。FlutterからAndroidへの変換やほとんどのXML-to-Compose移行を含むいくつかのタスクでは全モデルがゼロパスとなり、これらのタスクが現在のAIにとって依然として困難であることを示している。

Source posts