Android Bench 2.0、本番アプリで実践的なAndroid開発をテスト

GoogleのAndroid Bench 2.0は、本番アプリ(Signal、Bitwardenなど)を使用した実際のAndroid開発タスクでモデルとエージェントの組み合わせを評価します。30タスクからなるベンチマークには、アプリ変換、ゼロからのビルド、アーキテクチャ移行、新機能開発が含まれます。上位モデルでも合格率はわずか28%で、多くのタスク(Flutter/React Native変換、XML→Compose)は0/5の合格でした。