Android Bench 2.0 衡量AI模型在真实安卓开发中的技能

谷歌发布了Android Bench 2.0,这是一个基准测试,用于评估AI模型与编码代理组合在实际安卓开发任务中的表现,测试基于生产级应用(Signal、Bitwarden、Pocket Casts)。在涵盖应用转换、架构迁移和新功能在内的30个任务中,最高通过率仅为28%(由GPT-6 Astra + Codex实现)。

谷歌发布了Android Bench 2.0,这是一个基准测试,用于评估AI模型与编码代理组合在实际安卓开发任务中的表现,测试基于生产级应用(Signal、Bitwarden、Pocket Casts)。在涵盖应用转换、架构迁移和新功能在内的30个任务中,最高通过率仅为28%(由GPT-6 Astra + Codex实现)。