XNews

为智能体设计的高性能检索与缓存系统

为智能体设计的高性能检索与缓存系统

多项面向智能体的检索与缓存系统进展: - Opennote 的 Index 是为 AI 智能体设计的毫秒级动态文档检索系统,目标 P99 < 300ms。 - Index 采用 Postgres(pgvector + pg_trgm + tsvector)而非主流向量库,以元数据过滤提前缩小候选集并在实测中将 P99 从 475ms 降至 209ms。 - Index 在全球边缘运行(Cloudflare Workers + Hyperdrive 等),采用无状态 Ingestion 流水线与变更哈希来只重算变动 chunk 并触发缓存失效。 - 三层缓存机制:精确缓存、语义缓存与反向索引失效,实现高命中同时保证数据时效性。 - Memori 是开源的 SQL 原生记忆引擎,支持一行启用、智能提取实体、多种记忆模式与定期意识智能体后台提炼。 - Redis for AI 提供向量库、长期/短期记忆、语义缓存与语义路由,宣称在速度、成本和实时性上具优势,并与 ML 特征存储集成。 - Acontext 提供智能体上下文数据平台:任务观察、自学习机制与 SOP 提炼,便于长期稳定的智能体行为改进。

Key insights

Index:为智能体优化的检索引擎设计

Opennote 创始人介绍的 Index 专为 AI 智能体在个人知识库上的超低延迟与高精度检索而建,选择 Postgres + pgvector/pg_trgm/tsvector 以在数据库内做强过滤后并行进行全文与向量检索。Index 在 Cloudflare 边缘运行,采用无状态 ingestion 流程与变更哈希,仅对变动 chunk 重新计算 embedding,并实现 P99 < 300ms 的目标与实测 209ms 的 P99。

Index 的三层缓存策略确保时效与高命中

Index 采用精确缓存(相同 query+过滤命中)、语义缓存(基于 query embedding)与反向索引失效(chunk 记录相关缓存并在文档变动时主动失效)三层机制,既降低数据库压力又避免返回过时内容,适配动态编辑与多租户过滤场景。

Memori:SQL 原生记忆引擎的一行集成

Memori 提供开源 SQL 原生记忆引擎,通过 memori.enable() 将记忆存储在用户可控的 SQL 数据库中,自动提取实体并支持意识/自动/组合等记忆模式。架构采用拦截器,预调用注入相关记忆、后调用提取新信息并定期由意识智能体运行后台优化。

Redis for AI 与语义缓存课程强调端到端性能

Redis 发布 Redis for AI,整合高速向量检索、长期/短期记忆、语义缓存和语义路由,并提供与 LangChain 等生态的兼容,适用于实时、多智能体与个性化场景;同时,Redis 与 DeepLearningAI 推出课程“Semantic Caching for AI Agents”。

Acontext:从任务观察到 SOP 提炼的上下文平台

Acontext 将智能体交互、任务执行和产物集中存储,后台任务观察器提取 SOP 并将其作为技能库供后续检索复用,支持多模态会话与与 OpenAI/Anthropic 等多提供商集成,旨在提升智能体长期可靠性与可复用性。

Source posts