谷歌发布Android Bench 2.0基准测试,用于真实世界Android开发

谷歌推出了Android Bench 2.0,这是一个衡量模型与代理组合在真实Android开发任务中表现的基准测试,使用了Signal和Bitwarden等生产级应用。该30项任务套件包括应用转换、架构迁移和新功能开发。最高得分达到28%,GPT-6 Astra+Codex和Claude Fable 5.1+Claude Code领先,而许多XML到Compose的迁移任务零通过。
Key insights
基准测试设计与任务分类
Android Bench 2.0评估模型与代理组合在30项任务上的表现,这些任务源自谷歌的Android最佳实践,并使用真实的生产级应用。类别包括应用转换(Flutter/React Native到原生Android)、从头构建应用、架构迁移(XML到Compose、Hilt到Koin等)以及新功能开发(CameraX、Media3、画中画)。架构迁移是最大的类别,包含13项任务。
结果:顶级模型达到28%通过率,许多任务未被攻克
GPT-6 Astra+Codex和Claude Fable 5.1+Claude Code以28%的通过率并列第一。Qwen3.8 Max+Qwen Coder和Kimi K3+Kimi Code紧随其后。谷歌自家的Gemini模型排名较低,但具有成本优势。多项任务所有模型均零通过,包括Flutter到Android的转换以及大多数XML到Compose的迁移,这表明这些任务对当前AI仍具挑战性。