XNews

智能体框架设计与成本效益

智能体框架设计与成本效益

多项关于智能体基础设施的分析强调,框架设计、上下文质量和模型经济性现已成为主要瓶颈,而非原始模型能力。成本高效的框架模式(编排器、顾问、验证器)仅在需要时分配前沿智能,通过使用廉价模型执行批量任务,可实现高达46%的成本节约。Anthropic的平台团队指出,随着模型改进,智能体脚手架正在变薄,焦点转向智能体协作和衡量单个智能体的投资回报率。上下文质量至关重要:虽然MCP连接了系统,但碎片化的上下文迫使模型进行数据工程;Glean的统一索引和知识图谱预连接数据,将上下文偏好提升2.5倍,并减少30%的令牌使用。Cursor的智能体群实验表明,采用树状结构的规划器-工作器架构,仅在前沿模型用于高熵决策时,可将复杂任务成本从20,057美元(全Fable-5)降至1,339美元(Opus规划器+Composer工作器),上下文效率是关键扩展因素。协调成本、提示缓存命中率和治理是重要的设计考量。

Key insights

成本高效框架模式利用任务不对称性节省资金

三种模式——编排器(前沿规划,廉价执行)、顾问(在检查点咨询前沿模型)、验证器(前沿模型审查输出)——允许仅在需要高判断力时使用昂贵模型。实验显示,在机器学习实验设计中,使用34%的令牌成本即可获得约90%的Fable独立收益;在BrowseComp上,以46%的成本达到96%的分数。关键在于识别真正需要判断力的环节。

随着模型改进,智能体脚手架正在变薄

Anthropic的平台团队观察到,智能体周围的编排层正在缩小,因为模型现在能更自主地处理任务分解和工具使用。开发者正从控制每一步转向设计多个智能体如何协作,并在扩展到团队之前,通过个体生产力提升来衡量成功。

上下文质量而非仅连接性才是真正瓶颈

MCP解决了连接问题,但使上下文在系统间碎片化,迫使模型在运行时执行数据连接和去重。Glean的方法预构建统一索引和知识图谱,提供预连接且排序的上下文。测试中,Glean的上下文被偏好2.5倍,且比原始MCP工具输出使用少30%的令牌。

采用规划器-工作器树的群架构将成本降低一个数量级

Cursor根据文档实现SQLite的实验表明,采用强规划器和廉价工作器的树状系统,能以1,339美元(Opus规划器+Composer工作器)实现100%测试通过率,而全Fable-5方案需20,057美元。主要成本杠杆是将前沿模型使用限制在高熵决策上,如根分解和设计选择。

协调成本和缓存管理对效率至关重要

框架设计必须考虑边界重复(令牌在模型间被多次计数)、扇出重叠(工作器重复研究)和提示缓存命中率。低缓存复用可能抵消廉价模型带来的节省。Cursor的群实验还揭示了如脑分裂和合并冲突等故障模式,需要自定义智能体感知版本控制系统。

上下文工程与治理成为企业智能体部署的核心

Glean的MCP网关不仅提升了上下文质量,还实施了源级权限、基于OAuth的凭据处理和提示注入检查。这解决了在企业中扩展MCP的治理挑战,其中安全性和数据访问控制至关重要。

从模型能力到基础设施设计的转变标志着AI工程学科的成熟

在所有文章中,共识是模型智能不再是限制因素。焦点已转向框架设计、上下文集成、多智能体协调和经济优化。这反映了从构建AI模型到构建AI系统的转变。

Source posts