Android Bench 2.0:Android開発におけるモデル+エージェントのベンチマーク

Googleは、実際のAndroid開発タスクにおけるモデル+エージェントの組み合わせを評価するベンチマーク「Android Bench 2.0」を公開した。本ベンチマークは、SignalやBitwardenなどの本番アプリから抽出した30のタスクで構成され、アプリの変換、アーキテクチャ移行、新機能追加をカバーする。最高性能のモデルでも合格率は28%にとどまり、XMLからComposeへの移行が最も困難であることが判明した。