「メモリ税」論文、専用エージェントメモリシステムがナイーブRAGを下回ると判明

Xuan He氏と10名の共著者による論文「Memory Tax: Dissecting the Net Value of Agent Memory」は、LongMemEval-s、PersonaMem-v2、MINT-Evalおよび複数のモデルバックボーンにわたり、専用メモリシステムを生の履歴に対するナイーブ検索と比較評価した結果、多くのメモリシステムがナイーブRAGを下回るスコアを示しながら、より高いコストを要することを明らかにした。著者らは純価値を、メモリが解決しRAGが見逃す質問である「メモリ便益」と、RAGが解決しメモリが失う質問である「メモリ税」に分解し、税の原因を事実の脱落や歪曲、アクセシビリティの低下に帰した。ソース履歴からも検索しメモリと共同で再ランキングする概念実証は、税を削減した。
イベントのバージョン 1.
Key insights
メモリシステムはナイーブRAGを下回る
LongMemEval-s、PersonaMem-v2、MINT-Evalおよび複数のモデルバックボーンにおいて、多くの専用メモリシステムは大幅に高いコストにもかかわらず、生の履歴に対するナイーブRAGを下回る性能を示す。
純価値を便益と税に分解
RAGとのクエリごとの比較により、純価値をメモリ便益(メモリが解決しRAGが見逃すクエリ)とメモリ税(RAGが解決しメモリが失うクエリ)に分ける。
税の発生源
メモリ処理は情報を脱落または歪曲し、保持された情報を検索しにくくする可能性があり、結果はRAGよりもバックボーンモデルの選択に敏感である。
共同検索が税を削減
ソース履歴からも検索しメモリと共同で再ランキングする概念実証は税を削減し、生の履歴への回帰経路を支持する。