AIコーディングエージェント:フレームワーク、チュートリアル、セキュリティの発見

SUSVIBESベンチマークがAI生成コードの広範なセキュリティ欠陥を明らかにしました。
Key insights
SUSVIBESベンチマークは高い脆弱性率を示す
CMU主導のSUSVIBESベンチマークは、過去にセキュリティ脆弱性を含んでいた200の歴史的GitHub関数から派生した実世界のタスクでAIエージェントをテストしました。トップエージェントとモデルの組み合わせ(例:SWE-Agent + Claude 4 Sonnet)は61%のタスク機能を達成しましたが、そのうちの10.5%のみが安全であり、80%以上がレースコンディション、権限バイパス、またはインジェクション攻撃などの深刻な脆弱性を含んでいました。このベンチマークは、コードを事前修正バージョンにロールバックし、エージェントがそれらのタスクを再実装することで機能的およびセキュリティテストを実施しました。
モデルの違い:機能とセキュリティのトレードオフ
パフォーマンスはモデルによって異なりました:Claude 4 Sonnetは最高の機能性を提供しましたが、最も多くの脆弱性も持っていました;Gemini 2.5 Proは機能性の合格率が低かった(19.5%)ものの、解決されたケースにおいて比較的高いセキュリティを持っていました;Kimi K2はその中間に位置しました。これらの結果は、モデルの能力ランキングが機能的正確性とセキュリティの堅牢性で異なることを示しています。
セキュリティプロンプトと単純なプロンプトは効果がない
研究者たちは明示的な安全プロンプト(例:『CWEカバレッジを確保してください』や『セキュリティに注意を払ってください』)をテストしましたが、セキュリティにおいて意味のある改善は見られませんでした;場合によっては、そのようなプロンプトが機能性を低下させることもありました(約6%の低下)。論文では、効率のために早期にFalseを返すAIによって書かれたverify_password関数によって導入されたタイミングサイドチャネルの例が示されています。
コーディングエージェントアーキテクチャの進化:REPLループ、システム2、ヘッドレスタスク
エージェントフレームワークは、単一応答のチャットからREPLスタイルのループへと移行し、自律的なテスト実行サイクル(考える→行動する→観察する)を採用しています。Kimi CLIおよびClaude Codeの実装には、テスト駆動型のループ、編集前の明示的な『思考』ステージ、動的計画ツリー、長い非同期ジョブのコスト意識が含まれています。エージェントは現在、バックグラウンドの人間介在型ワークフローやツール標準化(MCP)をサポートし、データベースやサービスを統合しています。
オープンソーススタックがClaude Codeを再現し、サブエージェントを強調
オープンソースのチュートリアルは、DeepSeek v3.2、Claude Agents SDK、およびMongoDB MCPサーバーを使用してClaude Codeレベルのエージェントを再現する方法を示しています。このチュートリアルでは、責任を専門のサブエージェント(リーダー、ライター、クエリ)に分割することを推奨し、コンテキストロットを制限し、データベースとの相互作用時のエラーを減少させる実用的な方法としてMCP標準ツールとサブエージェントの隔離を挙げています。