Perplexity、Computerエージェント向けVMサンドボックス「SPACE」のレッドチーミング調査結果を公開

Perplexityは、Computerエージェント向けVMサンドボックス「SPACE」のレッドチーミングに関する新たな研究を公開した。12のモデルを対象に、VMを脱出してホストの認証情報を取得するタスクと、ネットワークポリシーを回避してブロックされたURLに到達するタスクを検証した。調査結果によると、標準的なCapture the Flagの設定は、テスト対象のセキュリティ境界からエージェントの注意をそらす可能性があり、セキュリティ特化型モデルが必ずしも優れた結果を保証するわけではないことが示された。
イベントのバージョン 1.
Key insights
2つのレッドチーミングタスク
12のモデルに対して、VMを脱出してホストから認証情報を取得するタスクと、SPACEのネットワークポリシーを回避してブロックされたURLに到達するタスクの2つが与えられた。
Capture the Flag設定がエージェントを誤導する可能性
レッドチーミングで使用される標準的なCapture the Flagの設定は、テスト対象のセキュリティ境界からエージェントの注意をそらす可能性がある。
セキュリティ特化型モデルが必ずしも優れた結果を保証するわけではない
SPACEのレッドチーミングにおいて、セキュリティ特化型モデルは必ずしも優れた結果を保証するわけではない。