XNews

プロダクションAIエージェントエンジニアリング:HarnessフレームワークとOpenBot

プロダクションAIエージェントエンジニアリング:HarnessフレームワークとOpenBot

Mitchell Hashimoto氏、OpenAI Codex、Martin Fowler氏らの知見を統合した、プロダクションAIエージェントエンジニアリングに関する包括的なマニュアル「Agent = Model + Harness」が公開された。このマニュアルは、モデルを取り巻くインフラストラクチャ(Harness)がプロダクション対応の鍵であると主張し、Harnessの改善のみでベンチマークスコアが40ポイント以上向上した事例を挙げている。また、6層のアーキテクチャ(Guides:実行前ルール、Sensors:実行後検証、Agentic Loop:制限付き実行サイクル、Memory:ファイルによる状態継続性、Permissions:能力予算と人間承認ゲート、Observability:構造化ログとコスト帰属)を定義。中核手法は「ラチェット原理」であり、エージェントが誤りを犯すたびに、それを恒久的に防ぐためのエンジニアリング修正を実装する。別のオープンソースプロジェクトOpenBotも紹介され、各AI「同僚」に独立したコンピュータ、ブラウザ、ログインセッションを提供し、すべてのアクションを承認し監査証跡を維持するゲートウェイを備える。

Key insights

「Harness」はエージェント性能において基盤モデルよりも重要なレバーである

マニュアルの中心的な主張は、モデルを取り巻くエンジニアリングインフラ(Harness)が、より高度なモデルへの切り替えよりも大きな性能向上をもたらす可能性があるという点である。証拠として、Claude Sonnet 4.5モデルのGAIAベンチマークスコアが、Harnessの変更のみで30.91%から74.55%に上昇し、LangChainがモデルを変更せずにTerminal Benchランキングを30位から5位に改善した事例が挙げられている。これは、推定95%のエンタープライズAIエージェントがプレプロダクション段階で停滞する理由を説明している。すなわち、高性能なモデルはあっても、デプロイに必要な安全性、観測可能性、ガバナンスのレイヤーが欠如しているためである。

「ラチェット原理」はAIエージェントを段階的に強化する体系的手法を提供する

マニュアルはMitchell Hashimoto氏の「ラチェット原理」を6段階のサイクルとして体系化している。すなわち、障害の再現、根本原因の分類、最も強力な修正レイヤーの選択、修正のコーディング、再発防止の検証、そして後退の監視である。修正の強度は、単純な対話的パッチから、エラーを構造的に不可能にする恒久的な環境制約へとエスカレートする。Cursor社のLauren Tan氏からの実践的なシグナルは、同じレビューコメントが3回出現した場合、構造的な制約として強化すべきというものである。成熟したHarnessは、新しいルール作成頻度が1日5件から週1件に減少することで示される。

OpenBotは自律型AIエージェント向けの分離優先セキュリティモデルを提案する

OpenBotプロジェクトは、AIエージェントにユーザーの個人用ブラウザやアカウントへのアクセスを許可する際のセキュリティ懸念に対処する。代わりに、各AI「同僚」に専用のコンピュータを提供し、独立したブラウザ、ログインセッション、ファイルシステムを備える。すべてのツールは明示的に許可され、すべてのアクションは実行前にゲートウェイによってチェックされ、完全な監査証跡が記録される。このシステムにより、自動化すべきでないタスクについては人間が引き継ぐことが可能となる。また、3つのプリコンフィギュレーション済みエージェント(汎用アシスタント、企業知識Q&A、リスクアナリスト)を搭載し、LangGraphやCrewAIなどのフレームワークで構築されたエージェントを統合でき、すべてDocker経由でローカル実行される。

Source posts