OpenAI 发布面向智能体规模并行推送的 Pando Git 后端

OpenAI 发布了 Pando,这是一个兼容 Git 的后端,专为处理智能体规模的并行推送而构建。此前,Codex 将其单体仓库推向了并发多分支写入和大规模并行读取的极限。Pando 提供分支级因果一致性,并在客户端之间复用 packfile,将生产环境中的推送延迟中位数降至此前水平的约五分之一,每天处理近 1 PB 的 Git 数据。
事件版本 1.
Key insights
Codex 使旧 Git 系统过载
Codex 同时放大了并行变更、分支、推送和 CI 拉取。自去年年底以来,旧系统出现推送和拉取缓慢以及合并失败的问题,可靠性一度低于 90%。
Pando 放宽了两个一致性假设
Pando 使单个 ref 可串行化,并在整个仓库中仅保持因果一致性,而不是要求某一时刻的全仓库一致性。Pack 被放入对象存储,元数据记录 tips、依赖关系和 pack 指针。
写入仅将主分支通告为基线
默认情况下,写入仅将 trunk 通告为基线,因此通告不会随着数百万个分支而增长,pack 也更容易复用,代价是在堆叠分支时产生额外传输。仓库中 pack 大小的中位数低于 20 KiB,P99 低于 3 MiB。
读取复用已存储的 pack
读取侧将 have/want 映射到已存储的 ref 版本,并通过 packfile-uri 提供可缓存的 pack,Express 命中率超过 99%,标准机器可饱和 10 Gbps。后台压缩遵循 LSM 方法,将 L0 合并至 L4,同时作为压缩和跳过索引。
从项目启动到生产仅用十周
Pando 用 Rust 重写,并使用 Codex 在大约 10 周内达到生产状态,于 4 月左右开始承接流量,首先通过双写代理,然后分阶段切换流量。它在一小时内发送了超过 57 TB 的数据,本地缓存命中率超过 99%,改进也被反馈到上游。