XNews

人工智能编码代理:框架、教程与安全发现

人工智能编码代理:框架、教程与安全发现

SUSVIBES基准测试揭示了AI生成代码中的广泛安全漏洞。

Key insights

SUSVIBES基准测试显示高漏洞率

由卡内基梅隆大学主导的SUSVIBES基准测试对来自200个历史GitHub功能的真实世界任务进行了测试,这些功能之前存在安全漏洞。顶级代理与模型组合(例如,SWE-Agent + Claude 4 Sonnet)实现了61%的任务功能,但其中仅10.5%的功能解决方案是安全的,这意味着超过80%的代码存在严重漏洞,如竞争条件、权限绕过或注入攻击。基准测试通过将代码回滚到预修复版本并让代理重新实现这些任务来运行功能和安全测试。

模型差异:功能与安全的权衡

性能因模型而异:Claude 4 Sonnet提供了最高的功能性,但同时也存在最多的漏洞;Gemini 2.5 Pro的功能通过率较低(19.5%),但在解决案例中相对安全;Kimi K2介于两者之间。这些结果表明,模型能力排名在功能正确性与安全稳健性之间存在差异。

安全提示和简单提示无效

研究人员测试了明确的安全提示(例如,'请确保覆盖CWE'或'注意安全'),发现安全性没有显著改善;在某些情况下,这些提示还降低了功能性(约下降6%)。论文中给出了示例,例如,由AI编写的verify_password函数引入的时间侧信道,该函数为了提高效率而提前返回False,从而通过时间差异启用用户名存在检测。

编码代理架构演变:REPL循环、系统2与无头任务

代理框架已从单一响应聊天转变为REPL风格的循环,具有自主测试运行周期(思考→行动→观察)。Kimi CLI和Claude Code实现包括测试驱动的循环、编辑前的明确“思考”阶段、动态规划树以及对长时间异步任务的成本意识。代理现在支持背景、人机协作的工作流程和工具标准化(MCP),以整合数据库和服务。

开源堆栈复制Claude Code并强调子代理

一个开源教程展示了如何使用DeepSeek v3.2、Claude Agents SDK和MongoDB MCP服务器复制Claude Code级别的代理。该教程建议将责任分拆为专门的子代理(阅读器、写入器、查询),以限制上下文衰退并减少与数据库交互时的错误。它还指出,使用MCP标准工具和子代理隔离是构建稳健的、生产级编码代理的实用方法,而不依赖封闭模型。

Source posts