XNews

Android Bench 2.0、トップモデルでも実世界のAndroidタスクで合格率28%に留まる

Android Bench 2.0、トップモデルでも実世界のAndroidタスクで合格率28%に留まる

グーグルは、実運用のAndroidアプリ上でモデルとエージェントのペア(例:GPT+Codex、Claude+Claude Code)を評価するベンチマーク「Android Bench 2.0」を公開した。トップモデルの最高合格率は28%で、すべてのモデルがクロスプラットフォーム移行タスク(Flutter/React NativeからネイティブAndroidへの移行)で0/5のスコアとなり、大半がXMLからComposeへの移行に失敗した。

Source posts