Google Android Bench 2.0: エージェントを用いた実際のAndroid開発のためのベンチマーク

GoogleはAndroid Bench 2.0を公開しました。これは、実際のAndroid開発タスクにおけるモデルとエージェントの組み合わせを評価するベンチマークです。SignalやBitwardenなどの実運用アプリから抽出された30のタスクが含まれており、アプリの変換、アーキテクチャの移行、新機能の追加などをカバーしています。最高性能のモデルでも合格率はわずか28%で、FlutterからAndroidへの変換など多くのタスクは完全に失敗しました。