OpenAI Habitat:从Python库到每秒处理7000万次查询的Rust服务

OpenAI内部存储平台Habitat经历了从Python客户端库(2024年,连接单一数据库)、到Python服务(2025年,实现部署控制),再到最终由两名工程师借助Codex和GPT-5.5重写为Rust服务(2026年第二季度)的演进过程。该平台如今覆盖约40个区域,服务超过100亿周活跃用户,存储超过500PB数据,每秒处理超过7000万次查询,其中Rust版本承担了95%的流量。从Python扩展到2000万QPS过程中获得的关键经验包括:asyncio调度延迟主导了尾部延迟(通过限制每个进程的并发请求数并为周期性任务增加抖动来缓解);LIFO连接池导致亚稳态故障(通过FIFO解决);进程数量过多引发下游连接风暴(通过Envoy HTTP/2多路复用解决)。