TypeSafe CEO:从第一性原理重新思考编码代理,摒弃KV缓存

TypeSafe首席执行官Diogo Almeida认为,编码代理的许多“标准功能”实际上是对大语言模型KV缓存和基于token定价的变通方案,而非真正的用户价值。他提出了一种基于显式状态和每次用户查询动态重构上下文的新设计。这种方法能够实现真正经济高效地路由到不同模型,使子代理变得实用,并允许根据文件类型和模型信任度进行安全、有条件的任务路由。

TypeSafe首席执行官Diogo Almeida认为,编码代理的许多“标准功能”实际上是对大语言模型KV缓存和基于token定价的变通方案,而非真正的用户价值。他提出了一种基于显式状态和每次用户查询动态重构上下文的新设计。这种方法能够实现真正经济高效地路由到不同模型,使子代理变得实用,并允许根据文件类型和模型信任度进行安全、有条件的任务路由。