ChatGPTのメモリシステムのリバースエンジニアリング

ChatGPTは四層のメモリシステムを使用しています。
Key insights
ChatGPTは四層のコンテキストアーキテクチャを採用
リバースエンジニアリングにより、ChatGPTにはセッションメタデータ、永続的なユーザーメモリ、軽量な最近の対話要約、現在のセッションスライディングウィンドウという四つの異なるコンテキスト層があることが確認されました。メタデータ層は環境信号(デバイスタイプ、概算位置、時間、サブスクリプションレベル、最近の使用パターン)をキャッチします。ユーザーメモリは明示的な長期的事実(33項目の保存例)を保持します。最近の対話要約は、約15の最近の会話の圧縮記録をタイムスタンプ、タイトル、メッセージスニペットと共に維持します。現在のセッションは、スライディングウィンドウの制限まで全即時履歴を保持し、古いメッセージを排除します。
ベクトルデータベースやRAGは使用せず、コストとレイテンシを最適化する設計
分析によれば、ChatGPTはユーザーメモリにベクトルデータベースや検索強化生成(RAG)を依存していません。代わりに、四層構造から情報を選択し、縫い合わせることで応答を構成し、徹底的な歴史的記憶を迅速で低コストな応答に交換しています。このアプローチは、大規模なアーカイブに対するクエリごとの検索を回避し、パーソナライズと応答速度、運用効率のバランスを目指しています。説明されたアーキテクチャは、全過去の履歴を検索することなく、スムーズで知識豊かなインタラクションを可能にするためのエンジニアリングの選択として提示されています。
最近の要約とスライディングウィンドウが一貫した短期コンテキストを作成
最近の対話要約は短期的な関心の軽量マップです:それは約15の最近の会話を要約(タイムスタンプ、タイトル、メッセージの断片を含む)として保存し、完全な履歴ではありません。現在のセッション層はスライディングウィンドウメカニズムを使用しています:トークン制限が古いメッセージの排除を要求するまで、完全な即時会話を保持します。これらの層は、各応答チェーンに全長期ログを読み込むことなく、会話の一貫性を提供します。
アーキテクチャは数億人のユーザーへのスケーラビリティを可能にする
説明されたメモリ設計は、非常に大規模なユーザーベースにサービスを提供するのに十分なリソース効率であるとされています。ある投稿では、ChatGPTが8億人のユーザーをどのようにサポートしているかという質問が明示的に提起され、各クエリの計算とストレージオーバーヘッドを最小限に抑える四層の非RAGアプローチにその答えが結びつけられています。トレードオフは、スケールでの一貫したパーソナライズと低レイテンシのために、過去の詳細の完璧な記憶が少なくなることです。