XNews

谷歌推出面向编码代理的Android Bench 2.0

谷歌推出面向编码代理的Android Bench 2.0

谷歌发布了Android Bench 2.0,这是一个在真实Android开发任务上评估模型+代理组合的基准测试。它包含30项任务,涵盖应用转换、从零构建、架构迁移和新功能开发。最高得分达到28%,GPT-6 Astra+Codex领先,许多任务零通过。

Key insights

Android Bench 2.0使用生产应用测试真实世界Android开发

该基准测试使用源自谷歌Android最佳实践文档的任务,应用于Signal、Bitwarden、Pocket Casts、WordPress和Now in Android等真实生产应用。它评估了模型+代理组合,如GPT+Codex、Claude+Claude Code、Gemini+Antigravity、Kimi K3和Qwen 3.8 Max。

最高分较低:通过率28%,许多任务零通过

GPT-6 Astra+Codex和Claude Fable 5.1+Claude Code占据前两名。Qwen3.8 Max+Qwen Coder和Kimi K3+Kimi Code紧随其后。谷歌自家的Gemini模型排名较低,但具有成本优势。几项任务0/5通过,包括所有Flutter→Android和React Native→Android转换,以及大多数XML→Compose迁移。

架构迁移任务占比最大且最具挑战性

30项任务中有13项涉及架构迁移:XML视图到Compose、Hilt到Koin、Retrofit到Ktor、Java到Kotlin。这些任务尤其困难,许多模型得分为0/5。结果突显,虽然AI能编写代码,但理解和重构现有架构仍是一大挑战。

Source posts