上下文工程、记忆系统与人工智能最佳实践

帖子综合了上下文工程、记忆设计和代理可靠性的最佳实践。- 验证检查点对于高保证任务至关重要。- 垂直模型比通用聊天模型更适合专业场景。- ChatGPT 记忆采用四层结构:会话元数据、用户记忆、最近对话摘要、当前会话窗口。- 上下文工程包括代理、查询增强、检索、记忆和工具。- Manus 推荐 KV-cache 保护、前缀冻结、显式状态复述和保留错误痕迹。- Anthropic 和 Manus 提出工具搜索、程序化工具调用和外部锚点(git 提交)以应对长任务。- 专家驱动的代理评估方法包括专家评分、模型比较和专家-用户验证步骤。
Key insights
上下文工程是可靠代理的操作核心
作者将上下文工程概述为一个系统级学科,包含代理、查询增强、检索、记忆和工具。有效的生产代理需要动态上下文加载、工具搜索以避免系统提示膨胀,以及平衡召回和精度的检索策略。这些帖子强调,上下文工程而非仅仅是提示措辞,决定了代理的可靠性和实际效用。
记忆和状态模式减少延迟并防止“中途失联”故障
ChatGPT 的四层记忆设计(会话元数据、用户记忆、最近对话摘要、当前会话)以及 Manus 的技术,如 KV-cache 保护、前缀冻结、显式状态复述和保留错误痕迹,建议用于提高性能、在长任务中保持上下文,并让代理在不重新训练的情况下从失败中学习。
代理评估应结合专家评分和模型比较
提出的代理评估方法强调构建一个专家标注的数据集,使用基于模型的评分来找到每个场景的最先进技术,进行代理之间的正面比较,并获得专家-用户反馈。帖子警告不要依赖天真的公共用户评分来进行技术代理评估。