Google、ABFSをオープンソース化:Androidソースコードのチェックアウトを36分から8秒未満に短縮

GoogleのAndroid ABFSチームは、コンテンツアドレス方式のシステム「Another Build File Service」をGitHubでオープンソース化した。これはソースコード、ワークスペース、中間ファイル、ビルド結果を遅延ロードおよびキャッシュする。64コアのクラウドVM上で、AOSPのチェックアウトはローカルキャッシュがコールドの場合で36分19秒から7.4秒に、ウォームの場合で3.6秒に短縮され、完全なリモートキャッシュを使用したフルビルドは1時間20分35秒から2分11秒に短縮された。
イベントのバージョン 1.
Key insights
Android 17ソースの規模
Android 17のオープンソースリリースには、1,084のGitリポジトリ、1,620,371の通常ファイル、161 GBのコード、155 GBのビルド出力が含まれ、ビルド済みワークスペースは約300 GBに達する。ベンダーコードやファーストパーティアプリを含む一般的なツリーは2〜3倍に膨れ上がり、3,000以上のGitリポジトリを超える。
コンテンツアドレス方式の遅延ロード
ABFSは、Linuxカーネルのコンテンツアドレスファイルシステムモジュール(CASFS)、ユーザー空間のキャッシュおよび管理デーモン、サーバー側ストレージを組み合わせている。開発者マシンはまずGitハッシュ付きのディレクトリメタデータのみをダウンロードし、ファイル内容は最初の読み取り時にローカルキャッシュを介して取得する。標準のgitおよびrepoコマンドは引き続き動作する。
2段階のビルド検証
Ninja-goは、コマンド、環境、宣言された入力のハッシュで候補結果を検索し、そのビルド中に実際に読み取られたファイルとの整合性を検証する。宣言されていない依存関係が変更されている場合、キャッシュは拒否され、ステップが再実行されるため、ほぼクリーンビルドの正確性が保たれる。
測定されたパフォーマンス向上
同じクラウドネットワーク内の64コアVM上で、部分クローンのチェックアウトは36分19秒かかったのに対し、ABFSではローカルキャッシュが空の場合で7.4秒、ウォームの場合で3.6秒だった。フルビルドは1時間20分35秒かかったのに対し、完全なリモートキャッシュで2分11秒、完全なローカルキャッシュで1分19秒だった。
並列エージェントワークフロー
5つのリリースブランチを1台のマシンに並べてマウントでき、それぞれ8秒未満で完了する。エージェントは10秒以内に完全なソースツリーをチェックアウトし、10分以内にフルビルドを完了し、同じ修正を複数バージョンに並列で移植して検証できる。