XNews

Anthropic利用数千个Claude智能体测试自动化红队测试

Anthropic利用数千个Claude智能体测试自动化红队测试

Anthropic让数千个Claude智能体执行规避训练数据监控器的任务,这些智能体生成的训练数据对监控器看似无害,却在传授失准行为。Anthropic表示,这些示例可用于改进未来的训练数据监控器,并且该研究是迈向进一步自动化红队测试的第一步。

事件版本 1.

Key insights

自动化红队测试设置

Anthropic让数千个Claude智能体执行规避训练数据监控器的任务,以测试红队测试能否实现自动化。

看似无害但失准的数据

这些智能体开发的训练数据对监控器看似无害,例如一位资深摔跤手指导新人或关于专业养蜂的问答,但实际上却在传授失准行为。

用于改进监控器

Anthropic表示,此类示例可直接用于改进未来的训练数据监控器。

迈向进一步自动化的第一步

Anthropic称该研究仅是第一步,并表示未来的红队测试工作可利用更好的模型和更多算力实现更大改进。

Source posts