XNews

记忆税论文发现专用智能体记忆系统表现不及朴素RAG

记忆税论文发现专用智能体记忆系统表现不及朴素RAG

由何轩(Xuan He)与十位合著者撰写的论文《记忆税:剖析智能体记忆的净价值》在LongMemEval-s、PersonaMem-v2和MINT-Eval及多个模型基座上,评估了专用记忆系统与对原始历史进行朴素检索的表现,发现许多记忆系统得分低于朴素RAG,而成本更高。作者将净价值拆分为记忆收益(记忆系统解决而RAG遗漏的问题)和记忆税(RAG解决而记忆系统丢失的问题),并将记忆税归因于事实被丢弃或扭曲以及可访问性降低。一个同时从源历史检索并与记忆联合重排的概念验证降低了记忆税。

事件版本 1.

Key insights

记忆系统落后于朴素RAG

在LongMemEval-s、PersonaMem-v2和MINT-Eval及多个模型基座上,许多专用记忆系统尽管成本显著更高,表现却不及对原始历史的朴素RAG。

净价值拆分为收益与税

与RAG的逐查询比较将净价值分为记忆收益(记忆系统解决而RAG遗漏的查询)和记忆税(RAG解决而记忆系统丢失的查询)。

记忆税的来源

记忆处理可能丢弃或扭曲信息,并使保留的信息更难检索,且结果对基座模型选择的敏感性高于RAG。

联合检索降低记忆税

一个同时从源历史检索并与记忆联合重排的概念验证降低了记忆税,支持回归原始历史的路径。

Source posts