XNews

代理工具、技能、提示转移与评估

代理工具、技能、提示转移与评估

开发者社区发布了多个用于检索、技能和跨模型提示可移植性的代理工具和框架。- OpenNote的Index:基于Postgres + pgvector构建的低延迟、多租户检索,全球Cloudflare边缘,P99 <300ms,混合搜索和精心缓存 - Index摄取管道使用块哈希和部分重新嵌入以节省计算 - Claude的“技能”是基于提示的元工具:SKILL.md包含YAML、允许的工具、模型字段和Markdown说明;通过技能元工具进行发现 - 技能在不执行远程代码的情况下改变运行时上下文并强制执行最低权限 - PromptBridge框架使用MAP-RPE校准和映射对将调优的提示在模型间转化,无需重新训练 - 代理评估提案包括专家评分、模型评分、直接比较和专家-用户小组;不鼓励普通用户评分作为核心指标 - PromptBridge和技能旨在减少模型锁定并加速跨模型迁移。

Key insights

OpenNote Index通过Postgres和边缘运行时优化代理检索

OpenNote发布了Index,这是一个为代理和个人知识库设计的文档检索系统。Index使用Postgres(pgvector + pg_trgm + tsvector)而不是专用的向量数据库,以利用快速的元数据过滤,支持混合关键词 + 向量搜索,并在Cloudflare Workers上运行以实现全球低延迟。摄取管道对块进行哈希,以避免不必要的重新嵌入,三层缓存加上精确失效保持新鲜度,同时将P99延迟控制在目标阈值之下。

Claude的“技能”是基于提示的模块化行为,适用于安全复杂工作流

对Claude技能系统的分析显示,技能表现为包含YAML元数据和Markdown说明的SKILL.md目录。技能作为高优先级上下文提示被注入,预先授权最低限度的工具,并在不授予代码执行权限的情况下改变模型行为。该系统支持通过技能元工具进行发现、运行时注入和热更新。架构通过最小权限的允许工具和纯粹的基于提示的行为优先考虑安全性。

PromptBridge在不重新训练的情况下自动化模型间提示翻译

PromptBridge在一篇埃森哲论文中描述,提供了一个零训练框架,将高质量的提示表述从源模型映射到目标模型。它使用小型校准集(MAP-RPE)生成配对的最佳提示,然后学习一个映射以翻译未来的提示,从而实现模型间的提示可移植性,最小化人工重工。

代理评估应优先考虑专家评分和比较模型运行

提议的代理评估管道建议制定基于专家的评分标准,收集专家评分的案例集,运行多个模型进行基于模型的评分比较,并通过专家用户验证结果。该建议不鼓励依赖非专家的公众评分作为技术代理指标,同时仍然承认来自普通用户的NPS价值。

Source posts