XNews

代理的检索与记忆系统:Index 和 Memori

代理的检索与记忆系统:Index 和 Memori

两个工程项目——Index(Opennote)和 Memori——展示了用于代理检索和持久记忆的生产方法。 - Index 是一个毫秒级动态文档检索系统,专为代理场景设计,目标为 P99 <300ms。 - Index 使用 Postgres(pgvector+pg_trgm+tsvector)和 Cloudflare Workers 实现混合元数据和向量过滤,测试中实现约 209ms 的 P99。 - Index 的数据摄取管道支持分块、基于哈希的增量嵌入和精确的缓存失效以进行更新。 - Index 将关键字和向量分数混合,并使用局部重排序与 Workers AI。 - Memori 是一个开源的 SQL 原生记忆引擎,提供一行集成(memori.enable())以支持 LLM 和代理。 - Memori 将记忆存储在标准 SQL 数据库中,提取实体,分类记忆类型(事实、偏好、技能),并支持意识/自动/组合模式。 - Memori 定期运行“意识”作业,将长期记忆提炼为短期工作记忆,并与流行的代理框架集成。 - 这两个项目优先考虑个人代理场景中的所有权、可审计性和低延迟。

Key insights

Index 选择基于 Postgres 的混合检索以满足代理需求并实现低延迟

Opennote 的 Index 使用 Postgres 结合 pgvector、pg_trgm 和 tsvector 实现混合语义和词汇检索,优化元数据过滤。该架构利用 Postgres 高效的元数据过滤在向量评分之前减少候选集,从而实现毫秒级延迟。通过 Cloudflare Workers + Hyperdrive 和仅对更改的块进行增量嵌入的数据摄取管道,实现全球分布。Index 实现了三层缓存(精确查询缓存、语义缓存和反向索引失效),在支持动态更新和多租户过滤的同时保持 P99 延迟一致性。

Memori 提供 SQL 原生持久记忆,具备实体提取和定期提炼功能

Memori 是一个开源记忆引擎,可以插入标准 SQL 数据库,为 LLM 和代理提供持久、可查询的记忆。集成非常简单(memori.enable()),Memori 自动提取实体,分类记忆类型(事实、偏好、技能),并提供意识/自动/组合模式。它定期运行“意识”后台进程,将长期存储提炼为紧凑的短期上下文,以提高检索相关性和会话间的连续性。Memori 关注可审计性、数据所有权和与常见代理框架的兼容性。

工程模式:增量嵌入、α混合和重排序提高生产相关性

Index 的管道强调增量嵌入(仅对更改的块重新计算嵌入)、α混合以融合词汇和语义分数,以及在边缘使用 Workers AI 的可选轻重排序。这些技术降低了计算和存储成本,同时保持了召回率,并为代理提供强大的工件跟踪。Index 和 Memori 都专注于通过支持 UPSERT/DELETE 语义和细粒度缓存失效来保证尽管编辑率高仍能提供最新结果。

个人代理场景需要所有权、可审计性和毫秒级响应能力

Index 和 Memori 优先考虑用户数据所有权(基于 SQL 的持久性)、细粒度权限、可验证的更新管道和针对无法容忍噪声或过时上下文的低延迟检索。Opennote 的目标是 P99 <300ms,而 Memori 则与现有数据库集成,以保留审计日志并实现用户控制。这些设计选择反映了面向消费者的代理在处理私人、高敏感度文档时的生产需求,并期望实时响应。

Source posts