XNews

反向工程ChatGPT记忆系统

反向工程ChatGPT记忆系统

ChatGPT使用四层记忆系统。

Key insights

ChatGPT采用四层上下文架构

反向工程识别了ChatGPT中的四个不同的上下文层次:会话元数据、持久的用户记忆、轻量级的最近对话摘要和当前会话滑动窗口。元数据层捕获环境信号(设备类型、近似位置、时间、订阅等级、最近使用模式)。用户记忆保存明确的长期事实(示例中提到的33项存储项)。最近对话摘要保持大约15个最近对话的压缩记录,包括时间戳、标题和消息片段。当前会话保留完整的即时历史,直到滑动窗口限制驱逐较旧的消息。

无向量数据库或RAG;设计优化成本和延迟

分析指出,ChatGPT不依赖于向量数据库或增强生成的检索来管理用户记忆。相反,它通过从四层结构中选择和拼接信息来构建响应,牺牲了详尽的历史回忆,以换取更快、更低成本的响应。这种方法避免了对庞大档案的每次查询搜索,并旨在平衡个性化与响应速度和操作效率。所描述的架构被视为一种工程选择,旨在实现流畅、看似知识渊博的互动,而无需搜索整个过去的历史。

最近摘要和滑动窗口创建连贯的短期上下文

最近对话摘要是短期兴趣的轻量级映射:它存储大约15个最近对话的摘要(包括时间戳、标题和消息片段),而不是完整历史。当前会话层使用滑动窗口机制:完整的即时对话会保留,直到令牌限制要求驱逐最旧的消息。这些层共同提供了对话的连贯性,而无需将整个长期日志加载到每个响应链中。

架构使数亿用户的可扩展性成为可能

所描述的记忆设计被认为足够资源高效,可以服务于非常庞大的用户基础。一篇文章明确提出了ChatGPT如何支持8亿用户的问题,并将答案与四层、非RAG的方法联系起来,从而最小化每次查询的计算和存储开销。权衡的结果是,牺牲了对每个过去细节的完美回忆,以换取在规模上持续的个性化和更低的延迟。

Source posts