XNews

谷歌开源ABFS,将Android源代码检出时间从36分钟缩短至8秒以内

谷歌开源ABFS,将Android源代码检出时间从36分钟缩短至8秒以内

谷歌Android ABFS团队在GitHub上开源了Another Build File Service,这是一个内容寻址系统,可延迟加载并缓存源代码、工作区、中间文件和构建结果。在64核云虚拟机上,AOSP检出时间从36分19秒降至冷本地缓存下的7.4秒和热缓存下的3.6秒,而完整构建时间从1小时20分35秒降至完整远程缓存下的2分11秒。

事件版本 1.

Key insights

Android 17源代码规模

Android 17开源版本包含1,084个Git仓库、1,620,371个常规文件、161 GB代码和155 GB构建输出,构建后的工作区约300 GB。包含供应商代码和第一方应用的典型代码树会增大两到三倍,超过3,000个Git仓库。

内容寻址延迟加载

ABFS结合了Linux内核内容寻址文件系统模块(CASFS)、用户空间缓存和管理守护进程以及服务器端存储。开发机首先仅下载带有Git哈希的目录元数据,并在首次读取时通过本地缓存获取文件内容,同时标准git和repo命令继续可用。

两阶段构建验证

Ninja-go通过命令、环境和声明输入的哈希查找候选结果,然后根据该次构建期间实际读取的文件验证一致性。如果未声明的依赖项发生更改,缓存将被拒绝并重新执行该步骤,从而保持接近干净构建的正确性。

实测性能提升

在同一云网络的64核虚拟机上,部分克隆检出耗时36分19秒,而ABFS在空本地缓存下为7.4秒,热缓存下为3.6秒。完整构建耗时1小时20分35秒,而完整远程缓存下为2分11秒,完整本地缓存下为1分19秒。

并行代理工作流

五个发布分支可以在同一台机器上并排挂载,每个分支耗时不到8秒。代理可以在10秒内检出一个完整的源代码树,并在10分钟内完成完整构建,然后并行地将相同的修复移植到多个版本进行验证。

Source posts