Claude Codeのシステムプロンプト最適化:Anthropicからの教訓

Anthropicは、Fable 5およびOpus 4.8において、Claude Codeのシステムプロンプトを80%削減し、フューショット例やハード制約を取り除くことでパフォーマンスが向上することを発見した。主な教訓:例を削除することは、モデルが例がない方が創造的であるため非常に効果的である;「Xをするな」という禁止事項はユーザー指示との競合を生むため避けること;すべての指示は例外なく100%正しいことを確認すること;高性能モデルではモデルの判断に依存すること。このアプローチは、事前のルールではなく、スキルによる段階的な開示、自動メモリ、および豊富な参照(コード、HTML、テスト)を活用する。Slack統合型ClaudeであるClaude Tagは、現在AnthropicのプロダクトエンジニアリングPRの65%を担当している。コードレビューは非コア領域で自動化され、6ヶ月かけて障害事例を評価スイートに追加することで信頼を構築した。チームは、このプロンプト哲学はモデル依存性があり、小規模モデルには依然として詳細なプロンプトが必要であると強調している。この変化は、厳格なルールから柔軟でコンテキスト駆動のガイダンスへの幅広いトレンドを反映している。
Key insights
フューショット例とハード制約の除去がフロンティアモデルの性能を向上
Anthropicは、システムプロンプトから例を削除することが「非常に効果的」であると発見した。なぜなら、Fable 5のようなモデルは与えられた例よりも創造的だからである。同様に、「Xをするな」という禁止事項を減らすことで、ユーザー指示との競合を防ぐ。これらの禁止事項は強い衝動を生み出し、後の要求と衝突するためである。その結果、コーディングベンチマークを損なうことなく、プロンプトが80%削減された。
「100%正しい」ルールがあいまいな指示を排除
チームはシステムプロンプトのすべての行を精査し、例外が存在するかどうかを確認した。多くの指示は90%しか正しくなかった。例えば、「常にフロントエンドの変更を検証する」は些細なテキスト編集では失敗する。新しい基準は、指示が普遍的に真実になるまで表現を和らげるか、モデル自身の判断に任せることである。なぜなら、プロンプトは100%の時間モデルに与えられるからである。
スキルと段階的開示によるモジュール式コンテキストが過負荷を防止
すべてのコンテキストを事前にロードする代わりに、独立した情報(コードレビュールール、検証手順)は、モデルが必要に応じて検索できる別個のスキルファイルに配置される。これによりモデルへの過負荷を回避し、関連する場合にのみコンテキストを取得できるようにし、「段階的開示」の原則に沿ったものとなる。
Claude TagがPRの65%を自動化、生産性への影響を示す
Anthropicの内部SlackボットであるClaude Tagは、日常的なコーディングタスクを処理し、リポジトリを監視し、PRを提出する。現在、プロダクトエンジニアリングチームのPRの65%を担当している。複雑なタスクには依然としてインタラクティブなClaude Codeが使用されるが、日常業務はますます自動化されており、非コア領域のコードレビューは6ヶ月の信頼構築を経て完全にAIに委ねられている。
プロンプト哲学はモデル依存;小規模モデルには依然として詳細が必要
リーンプロンプトアプローチは、強い判断力を持つフロンティアモデルにのみ有効である。Haikuのような小規模モデルには、依然として詳細で規範的なプロンプトが必要である。これがAnthropicがモデル階層ごとに別個のシステムプロンプトを維持している理由であり、チームはフロンティアインテリジェンスは「ほぼ常に価値がある」と述べている。たとえ難しい問題でより少ないトークンを使用することがあっても。
コンテキストエンジニアリングが手動ルールから自動メモリと豊富な参照へ移行
Anthropicは、手動で記述されたclaude.mdメモリから自動モデル生成メモリへ、また単純なテキストルールからHTMLテンプレート、テストファイル、採点基準などの豊富な参照へと移行した。これにより、モデルは抽象的な指示ではなく、実際のコードや成果物からパターンを推論できるようになる。