XNews

来自Google Cloud的长期运行代理框架的5种设计模式

来自Google Cloud的长期运行代理框架的5种设计模式

针对长期运行代理框架中遇到的五种真实世界故障,提出了相应的设计模式:(1) 稳定前缀——根据变化率冻结系统提示的层,使得95%的提示命中缓存;如果缓存令牌为零,则前缀正在移动。(2) 后台学习——将内存提取从内联方式切换到异步写后方式,配合强任务引用、隔离的子代理和120秒的去抖处理,以防止性能下降。(3) 持久化工作区——按用户而非会话划分工作区,这样部署不会清除已安装的工具;避免使用诸如502之类的共享状态码来判断存活状态。(4) 显式故障——命名每个终止状态(超时、步骤耗尽、待审批、完成),并在摘要中写入“不完整:不要报告为完成”;强制设定每轮最多200次工具调用和每次会话最多50轮的硬限制。(5) 防护链——在比较前对输入进行归一化处理,按成本进行短路:出口防护(硬阻断)、策略防护(允许/询问/拒绝)、人工确认(最昂贵)。防护链中不涉及任何模型;凭据的设计基于防护可能被突破的假设,采用环境注入和占位符令牌。

Source posts