XNews

实验表明:编码代理的产品选择因代码库上下文、角色设定和措辞而异

实验表明:编码代理的产品选择因代码库上下文、角色设定和措辞而异

Armature进行了一项受控实验,涉及16,893次会话,三个编码代理(Claude Code、Codex、Cursor)在18个类别中挑选并集成产品。经过筛选,分析了5,292个有效会话。五个类别中出现了市场份额超过50%的主导者:Stripe(支付领域占88%)、Neon(数据库领域占66%)、AWS(云服务领域占62%)、Cloudflare Turnstile(反机器人领域占57%)和PostHog(分析领域占53%)。主要发现:代理的信息来源差异显著;代码库上下文是关键变量;被提及不等于被选中(PayPal、LangChain、Netlify提及率高但胜率接近零);定价页面上的单一语句可改变决策;角色设定和措辞变化会改变答案——大多数情况下,重新措辞后无法产生稳定答案。

Source posts