XNews

Meta 在工程基础设施中部署 JiTTests 大语言模型缺陷捕捉系统

Meta 在工程基础设施中部署 JiTTests 大语言模型缺陷捕捉系统

Meta 已将 Catching Just-in-Time Tests(JiTTests)——一个基于大语言模型的系统——部署到其生产基础设施中,该系统生成可执行测试,旨在让代码变更在合入前失败。该公司报告称,已有 589 名工程师参与使用该系统,并报告了 60% 的真阳性率;在 2026 年上半年,该系统在差异阶段捕捉到 74 个隐私 SEV,使整体隐私 SEV 发生率降低了 20%。

事件版本 1.

Key insights

旨在失败的测试揭示行为差异

JiTTests 自动生成可执行测试,这些测试被设计为在代码变更上失败、在父版本上通过,从而在代码合入前暴露行为差异。该方法与基于大语言模型的代码审查不同,因为它产生具体的失败测试,而不是像人类审查者那样审查代码。

两个串联工作流瞄准可能的故障点

一个意图感知工作流推断代码变更的意图和风险,并将测试生成定向到可能的故障点。一个可疑差异工作流将每个代码变更视为突变体,并生成测试以暴露行为差异,而不对意图进行推理。

过滤减少弱捕捉带来的误报

该系统使用 RubFake 规则工具和一个由多个大语言模型组成的小组来对失败测试进行排序,并区分强捕捉与弱捕捉。在 600 个带有弱捕捉的变更上,该小组将人工审查负担减少了约 70%。

初始部署后报告的生产结果

一篇初始论文向工程师报告了 41 个候选,其中 8 个被确认为真阳性,约为 19.5%,其中 4 个如果未被拦截可能导致严重故障。后来的生产数据显示,589 名工程师参与,真阳性率为 60%,并在 2026 年上半年在差异阶段捕捉到 74 个隐私 SEV。

工程师留在回路中进行判断

该工作流要求工程师设定标准并审查摘要,通常确认行为变更是否符合预期。该系统利用空闲计算在夜间运行,并使用类似 Diff Risk Score 的机制优先处理前一天的高风险变更。

Source posts