XNews

Android Bench 2.0:モデル+エージェントのベンチマーク、最大合格率28%

Android Bench 2.0:モデル+エージェントのベンチマーク、最大合格率28%

GoogleはAndroid Bench 2.0を公開した。これは実際のAndroid開発タスクにおけるモデルとエージェントの組み合わせを評価するベンチマークである。トップモデル(GPT-6 Astra、Claude Fable 5.1)でも合格率は28%にとどまった。FlutterからAndroidへの移行タスクでは、全モデルで合格率0%となった。

Source posts