上下文压缩、RAG与长期代理评估

研究人员和从业者强调上下文压缩和RAG的改进对于长期存在的代理至关重要。- 单次会话压缩无法在超过百万个标记的历史中保留任务关键细节。- FactoryAI的锚定迭代摘要在基于探测的保留测试中优于OpenAI和Anthropic。- 探测评估使用GPT-5.2评审者通过回忆、工件、延续、决策和六个评分维度进行评估。- 效率应优化每个任务的标记消耗,而不是最大压缩比。- Box首席执行官Levie认为上下文工程成为代理的主要系统级障碍。- 关键基础设施:检索、启发式排序、系统提示和状态/空间优化。- Agentic RAG for Dummies项目为RAG添加了对话记忆、层次索引和生产特性。
Key insights
上下文压缩必须保留可操作细节
评估显示传统的高压缩方法会丢失低熵但任务关键的细节(例如,文件路径、错误日志)。基于探测的框架测量回忆、工件跟踪、延续和决策支持;它使用GPT-5.2作为评估者,并对六个维度进行0-5评分。FactoryAI的锚定迭代摘要比OpenAI的不透明紧凑响应和Anthropic的全再生摘要更好地保留了意图、文件编辑、决策和下一步计划。报告强调优化每个正在进行的任务的标记使用,而不是最大化压缩百分比。
上下文工程成为核心系统架构问题
Box首席执行官Levie认为代理的失败将从逻辑缺陷转向信息不对称。他概述了一个信息供应链,要求大规模、低延迟的检索;启发式排序以优先考虑关键上下文;精确的系统提示;以及状态/空间优化,以将复杂推理适应于有限窗口。他强调AI在扫描和重组数据方面的计算优势,并将上下文工程视为生产代理的竞争障碍。
生产RAG需要对话记忆和层次索引
Agentic RAG for Dummies项目通过添加对话记忆、层次索引切片和小到大的检索策略来展示生产级RAG:先用小片段搜索,然后用大上下文切片回调。该系统支持多代理协调,澄清问题以避免幻觉,Gradio用户界面,文档管理,对话持久性,人为干预挂钩,PDF到Markdown的管道,Docker部署,以及本地部署的笔记本教程。
政策层面对标记效率和基于探测的评估的影响
实际建议是压缩指标必须反映任务连续性的有效性:每个任务的标记消耗和工件可追溯性比原始压缩比更为重要。基于探测的评估——在压缩后测试特定保留事实——在评估真实代理可用性方面优于ROUGE/嵌入相似性。分析报告显示,尽管原始压缩低于OpenAI的方法,Factory的准确性和上下文意识更高。