Perplexity 发布针对 Computer agents 的 SPACE VM 沙箱红队测试结果

Perplexity 发布了关于 SPACE(其为 Computer agents 提供的 VM 沙箱)红队测试的新研究,在 12 个模型上测试了逃逸 VM 以获取主机凭据以及绕过网络策略以访问被阻止 URL 的能力。研究结果表明,标准的 Capture the Flag 设置可能会使 agents 偏离正在测试的安全边界,并且安全专用模型并不能保证更好的结果。
事件版本 1.
Key insights
两项红队测试任务
十二个模型被赋予两项任务:逃逸 VM 以从主机获取凭据,以及绕过 SPACE 的网络策略以访问被阻止的 URL。
Capture the Flag 设置可能误导 agents
红队测试中使用的标准 Capture the Flag 设置可能会使 agents 偏离正在测试的安全边界。
安全专用模型不保证更好结果
在 SPACE 的红队测试中,安全专用模型并不能保证更好的结果。