ChatGPTメモリシステムのリバースエンジニアリング

リバースエンジニアリングされたChatGPTメモリは、ベクトルDB + RAGではなく、4層システムとして分析される。 - 層: セッションメタデータ、ユーザーメモリ(永続的な事実)、最近の会話要約(約15件)、現在のスライディングウィンドウ会話。 - セッションメタデータ: デバイス、位置、時間、サブスクリプションレベルおよび使用パターン。 - ユーザーメモリ: 明示的に保存された事実または自動的に特定された長期保存の事実。 - 最近の要約: タイムスタンプとスニペットを含む、最後の約15の対話の軽量要約。 - 現在のウィンドウ: スライディングエビクションを伴う完全な即時会話。 - 効率: このアプローチは、完全なRAG検索と比較して取得コストとレイテンシを削減しながら、一貫性を保つ。
Key insights
ChatGPTは大規模ベクトルに対してRAGを使用せず、4層メモリアーキテクチャを採用
リバースエンジニアリングによれば、ChatGPTのメモリは4つの層で構成されている: セッションメタデータ(環境信号)、明示的な事実の永続的なユーザーメモリ、最近の会話要約バッファ(約15件)、および現在のセッションのスライディングウィンドウコンテキスト。このシステムは、すべてのクエリに対してグローバルなベクトルDBやRAGを回避し、パーソナライズとエンジニアリングコストのバランスを取るためにこの層構造を好むと報告されている。
設計は効率と認識された連続性のために徹底的なリコールをトレードオフ
このアーキテクチャは、パーソナライズのためのコアな永続的事実、最近のトピックを追跡するための軽量要約、即時の詳細のためのスライディングウィンドウを保存する。『重要なことを記憶し、最近のことを要約し、今に焦点を当てる』という戦略は、一貫したマルチセッション体験を提供しつつ、大規模なユーザーベースに対してレイテンシと計算を管理可能に保つことを目指している。