谷歌发布Android Bench 2.0,用于真实开发任务

谷歌推出了Android Bench 2.0,这是一个基准测试,用于评估LLM与Agent组合在来自Signal和WordPress等应用的真实Android工程任务上的表现。最高通过率由GPT-6 Astra+Codex达到28%,而许多迁移任务(如Flutter到Android、XML到Compose)在所有模型上的得分均为0%。

谷歌推出了Android Bench 2.0,这是一个基准测试,用于评估LLM与Agent组合在来自Signal和WordPress等应用的真实Android工程任务上的表现。最高通过率由GPT-6 Astra+Codex达到28%,而许多迁移任务(如Flutter到Android、XML到Compose)在所有模型上的得分均为0%。