XNews

実験により、コーディングエージェントの製品選択がコードベースのコンテキスト、ペルソナ、表現によって変化することが示される

実験により、コーディングエージェントの製品選択がコードベースのコンテキスト、ペルソナ、表現によって変化することが示される

Armature社は、16,893セッションを対象とした制御実験を実施し、3つのコーディングエージェント(Claude Code、Codex、Cursor)が18カテゴリにわたって製品を選択・統合する様子を調査した。フィルタリング後、5,292の有効セッションが分析された。5つのカテゴリで支配的なリーダーが50%以上のシェアを示した:Stripe(決済で88%)、Neon(データベースで66%)、AWS(クラウドで62%)、Cloudflare Turnstile(アンチボットで57%)、PostHog(分析で53%)。主な発見:エージェントの情報源は大きく異なる;コードベースのコンテキストが決定的な変数である;言及されることと選択されることは等しくない(PayPal、LangChain、Netlifyは言及が高いが勝利はほぼゼロ);価格ページの一文で判断が覆る;ペルソナや表現の変更が回答を変える——ほとんどのケースで言い換えにより安定した回答が得られなかった。

Source posts