Uber、実行時のエージェント行動を統治するセキュアAIフレームワークの詳細を公開

Uberは、エージェント型AI向けの多層防御セキュリティフレームワークを公開した。これはプロビジョニング時の検証、実行時の強制、継続的保証を組み合わせたものである。このシステムは特権的なエージェント行動をユーザーの実際のリクエストまで遡って追跡し、間接的プロンプトインジェクションや目標ハイジャックに対抗する。Uberは傍受率、誤検知率、レイテンシに関する定量的な数値は報告していない。
イベントのバージョン 1.
Key insights
認可だけでは不十分
IDおよび認可システムは、ユーザーやサービスがリソースにアクセスできるかどうかを判断できるが、エージェントが提案する行動が文脈上適切かどうかは判断できない。エージェントはユーザーコンテンツ、ウェブページ、ドキュメント、ツール、他のエージェントを推論するため、攻撃面の一部がセマンティック層に移行する。
3層の防御ライフサイクル
このフレームワークは、AIレジストリとArgusによるコード、プロンプト、ツール呼び出しパスの分析を通じたプロビジョニング時の検証、AIガードと実行時コンポーネントを通じた実行時の強制、インタラクションのリプレイとレッドチーミングを通じた継続的保証をカバーする。
プロンプトの来歴と証拠チェーン
実行時には、プロンプトの来歴と証拠チェーンが特権的な行動をユーザーが実際に要求した内容まで相関させ、間接的プロンプトインジェクション、目標ハイジャック、意図しないエージェント行動に対する追加の防御を提供する。
検出よりもトレードオフ
Uberは、ブロックせずに観察し、均一な閾値に頼るのではなくエージェントごとに調整するシャドウモードを採用した。チームは、保護はリスクを低減し攻撃コストを高めるだけであり、新しいプロンプトインジェクション手法に対する有効性は予測が難しいことを認めた。
定量的結果は非公開
公開された資料には傍受率、誤検知率、レイテンシの数値が含まれていないため、このフレームワークは有効性の完全な証明ではなく、展開の経験として提示されている。