XNews

Uber详细阐述用于在运行时管理AI代理行为的安全框架

Uber详细阐述用于在运行时管理AI代理行为的安全框架

Uber发布了一个针对代理式AI的纵深防御安全框架,结合了配置时验证、运行时强制执行和持续保障。该系统将特权代理操作追溯至用户的实际请求,以抵御间接提示注入和目标劫持,但Uber未报告任何量化拦截率、误报率或延迟数据。

事件版本 1.

Key insights

仅靠授权不足以应对

身份与授权系统可以确定用户或服务是否有权访问资源,但无法判断代理提议的操作在上下文中是否恰当。代理会基于用户内容、网页、文档、工具及其他代理进行推理,将部分攻击面转移至语义层。

三层防御生命周期

该框架涵盖通过AI注册表和Argus对代码、提示及工具调用路径进行分析的配置时验证,通过AI防护和运行时组件实现的运行时强制执行,以及通过交互回放和红队测试进行的持续保障。

提示溯源与证据链

在运行时,提示溯源和证据链将特权操作关联回用户实际请求的内容,为抵御间接提示注入、目标劫持和意外代理行为提供了额外防御。

权衡优于检测

Uber采用了一种仅观察不拦截的影子模式,并按代理进行校准,而非依赖统一阈值。团队承认这些防护措施只能降低风险并提高攻击成本,且针对新型提示注入技术的有效性仍难以预测。

未披露量化结果

已发布材料未包含拦截率、误报率或延迟数据,因此该框架呈现为部署经验,而非有效性的完整证明。

Source posts