OpenAI Habitat:Pythonライブラリから7000万QPSを処理するRustサービスへ

OpenAIの内部ストレージプラットフォームHabitatは、単一のデータベースに接続するPythonクライアントライブラリ(2024年)から、デプロイメント制御のためのPythonサービス(2025年)、そして2人のエンジニアとCodex、GPT-5.5によって書き換えられたRustサービス(2026年第2四半期)へと進化した。現在、約40リージョンにわたり、週間ユーザー数100億以上、500PB以上のデータ、7000万QPS以上を処理し、Rust版がトラフィックの95%を担っている。Pythonで2000万QPSにスケールする際の重要な教訓:asyncioのスケジューリング遅延がテールレイテンシを支配した(プロセスあたりの同時リクエスト数を制限し、定期的なタスクにジッターを追加することで緩和)、LIFO接続プールがメタ安定障害を引き起こした(FIFOで修正)、大量のプロセス数がダウンストリームへの接続ストームを引き起こした(Envoy HTTP/2多重化で解決)。