XNews

Claude Codeのシステムプロンプト削減とAIエンジニアリングの洞察

Claude Codeのシステムプロンプト削減とAIエンジニアリングの洞察

AI Engineer World's Fairでのファイアサイドチャットにおいて、Claude CodeのプロダクトリーダーであるCat Wu氏とエンジニアのThariq Shihipar氏は、Claude Codeのシステムプロンプトが80%削減されたことを明らかにした。この変更はFable 5、Opus 4.8、および将来計画されているモデルに適用される。議論から得られた主な知見は以下の通り: • フューショット例の削除により結果が改善された。これは、フロンティアモデルが例示よりも創造的であることが判明したため。 • 「Xをしてはいけない」といった厳格な禁止事項は、ユーザーの指示と矛盾した場合に衝突を生じさせるため削減され、代わりに文脈が提供された。 • 各指示は100%の正確性がテストされた。例えば、「フロントエンドの変更を常に検証する」という指示が些細なテキスト修正では失敗するなど、90%しか正しくない場合は緩和または削除された。 • 小規模モデル(例:Haiku)には依然として詳細なプロンプトが必要だが、大規模モデルは判断力に依存した簡潔な指示から恩恵を受ける。 • サブエージェントとClaude Codeのワークフローツールのプロンプトは、Claude自身によって作成されている。 • Claude Tag(Slackコラボレーションバージョン)は現在、自律的に監視、バグ修正、PR作成を行っており、AnthropicのプロダクトエンジニアリングチームのPRの65%がAIによって作成されている。 • コードレビューの自動化は、非コアな変更に対して信頼されており、インシデント駆動型の改善を6ヶ月かけて構築した結果である。 • オートモードはSonnet分類器を使用して動的に進行を決定し、安全性はサンドボックス化と認証情報の注入によって支えられている。 • 人間の前提をコード化した固定パイプラインである旧来のハーネスモデルは、モデルが自身の判断力を発揮できるようにする、より薄いコーチのような層に置き換えられつつある。

Key insights

フロンティアモデル向けにプロンプトエンジニアリングのベストプラクティスが逆転

かつてはフューショット例や明示的なルールが不可欠だったが、Claude Codeチームは現在、例を削除し制約を減らすことで、モデルが優れた推論力を活用できることを発見している。この変化は長年にわたる確立されたアドバイスに挑戦するものだが、チームはこれがOpus/Fableレベルでのみ機能し、小規模モデルには依然として詳細な足場が必要であると強調している。基本原則は、各指示がすべての文脈で100%正しくなければならず、そうでなければ誤解されるという点にある。

Anthropic社内導入が示すエージェンティックツールによるソフトウェアエンジニアリングの変革

PRの65%がすでにAI生成され、非コアな変更に対するコードレビューがほぼ自動化されている中、Anthropic自身の実践は、エージェント駆動型開発が実験段階を超えていることを示している。この変化は、エンジニアの役割をコード作成から製品判断とレビューへと再定義しており、ハーネスの薄層化によってモデルがタスク実行方法を決定できるようにする傾向によって強化されている。

安全性は静的な禁止事項ではなく、動的分類器とサンドボックス化に依存

オートモードは、会話コンテキスト内の各ツール呼び出しを評価するSonnet分類器と、サンドボックス化および一時的な認証情報注入を組み合わせて使用する。このシステムは、完全な評価データは未発表だが、人間によるレビューよりもリスクが低いと主張している。このアプローチは、ハードコードされた禁止事項からの脱却と、文脈に応じたリスク評価の重視に沿ったものである。

モデル能力が前提を上回る中、旧来のハーネスは解体されつつある

厳格なステップバイステップのパイプラインから柔軟なコーチのようなシステムへの移行は、より広範なトレンドを反映している。すなわち、「モデルができないこと」をコード化したインフラは時代遅れになりつつある。モデルが改善されるにつれ、ハーネスはプロセスを指示するのではなく、文脈を提供し、モデルが自身のアプローチを調整できるようにする方向へとシフトしている。

Source posts