谷歌发布Android Bench 2.0,用于真实Android开发智能体评估

谷歌发布了Android Bench 2.0,该基准测试基于谷歌最佳实践,评估模型与智能体组合在真实Android任务上的表现。顶级模型通过率为28%,其中GPT-6 Astra和Claude Fable领先;谷歌的Gemini系列排名较低,但具有成本优势。许多任务,尤其是XML到Compose迁移和跨平台转换,所有模型均未通过。

谷歌发布了Android Bench 2.0,该基准测试基于谷歌最佳实践,评估模型与智能体组合在真实Android任务上的表现。顶级模型通过率为28%,其中GPT-6 Astra和Claude Fable领先;谷歌的Gemini系列排名较低,但具有成本优势。许多任务,尤其是XML到Compose迁移和跨平台转换,所有模型均未通过。