Google、実際のAndroid開発タスク向けベンチマーク「Android Bench 2.0」を公開

Googleは、実際のAndroid開発タスクにおけるモデルとエージェントのパフォーマンスを評価する「Android Bench 2.0」を公開した。最高合格率は28%(GPT-6 Astra + Codex)だった。すべてのモデルは、Flutter/React NativeからAndroidへの移行、およびXMLからComposeへの移行に失敗した。

Googleは、実際のAndroid開発タスクにおけるモデルとエージェントのパフォーマンスを評価する「Android Bench 2.0」を公開した。最高合格率は28%(GPT-6 Astra + Codex)だった。すべてのモデルは、Flutter/React NativeからAndroidへの移行、およびXMLからComposeへの移行に失敗した。