Meta、エンジニアリング基盤全体にJiTTests LLMバグ検出システムを導入

Metaは、コード変更が着地する前に失敗するように設計された実行可能なテストを生成するLLMベースのシステム「Catching Just-in-Time Tests(JiTTests)」を本番インフラストラクチャに導入した。同社は、589人のエンジニアがシステムを利用し、60%の真陽性率を報告したこと、また2026年上半期にdiff段階で74件のプライバシーSEVを検出し、プライバシーSEVの全体的な発生率を20%低下させたことを報告した。
イベントのバージョン 1.
Key insights
失敗するように設計されたテストが動作の差異を明らかにする
JiTTestsは、コード変更時に失敗し、親バージョンではパスするように設計された実行可能なテストを自動生成し、コードが着地する前に動作の差異を明らかにする。このアプローチは、人間のレビュアーのようにコードをレビューするのではなく、具体的な失敗テストを生成する点で、LLMベースのコードレビューとは異なる。
2つの連携ワークフローが失敗の可能性が高い箇所を狙う
意図認識ワークフローは、コード変更の意図とリスクを推測し、テスト生成を失敗の可能性が高い箇所に集中させる。dodgy diffワークフローは、すべてのコード変更をミュータントとして扱い、意図について推論することなく動作の差異を明らかにするテストを生成する。
フィルタリングが弱いキャッチによる誤検出を削減する
システムはRubFakeルールツールと複数の大規模言語モデルのパネルを使用して、失敗テストをランク付けし、強いキャッチと弱いキャッチを区別する。弱いキャッチを含む600件の変更において、パネルは手動レビューの負担を約70%削減した。
初期導入後に報告された本番結果
初期の論文では、エンジニアに41件の候補が報告され、8件が真陽性として確認され、真陽性率は約19.5%であり、そのうち4件は介入がなければ重大な障害を引き起こす可能性があった。その後の本番データでは、589人のエンジニアが利用し、60%の真陽性率、2026年上半期にdiff段階で74件のプライバシーSEVを検出したことが示されている。
エンジニアは判断のためにループ内に留まる
ワークフローでは、エンジニアが基準を設定し、サマリーをレビューする必要があり、通常は動作の変更が期待と一致するかどうかを確認する。システムはアイドル状態のコンピュートを使用して夜間に実行され、Diff Risk Scoreに類似したメカニズムを使用して前日の高リスク変更を優先する。