ChatGPT 记忆系统反向工程

分析反向工程的 ChatGPT 记忆系统为四层结构,而非向量数据库 + RAG。 - 层次:会话元数据、用户记忆(持久事实)、最近对话摘要(约 15 项)、当前滑动窗口对话。 - 会话元数据:设备、位置、时间、订阅级别和使用模式。 - 用户记忆:显式保存或自动识别的长期存储事实。 - 最近摘要:带有时间戳和片段的最后 ~15 次对话的轻量级摘要。 - 当前窗口:完整的即时对话,具有滑动驱逐功能。 - 效率:该方法在保持连贯性的同时,降低了检索成本和延迟,相较于完整的 RAG 搜索。
Key insights
ChatGPT 使用四层记忆架构而非大向量上的 RAG
反向工程表明,ChatGPT 的记忆由四层组成:会话元数据(环境信号)、持久的用户记忆(显式事实)、最近对话摘要缓冲区(约 15 项)和完整的当前会话滑动窗口上下文。该系统据称避免了每个查询都使用全局向量数据库和 RAG,而是倾向于这种分层结构,以平衡个性化和工程成本。
设计在效率和感知连续性之间进行权衡
该架构存储核心持久事实以实现个性化,轻量级摘要以跟踪最近话题,以及滑动窗口以获取即时细节。这种“记住重要内容、总结近期内容、关注现在”的策略旨在提供连贯的多会话体验,同时保持延迟和计算在大型用户基础上可控。