HarnessDev基准测试:大语言模型能创建智能体框架,但进化泛化能力差

字节跳动Seed等机构发布了HarnessDev基准测试,用于评估大语言模型能否构建自己的智能体框架(包括执行循环、工具和上下文管理)。在创建过程中,六个模型从弱种子出发构建了框架;领域差距很大(代码领域69.3分对比人类80.0分,搜索研究领域52.6分对比92.2分)。共适应现象严重:Opus框架在由Gemini运行时,由于硬编码的步骤限制,得分从69.3降至33.0。经过10轮进化,在反馈任务上获得了提升(+3至+14),但在保留任务上缩小至+1.4至+4.4。在固定Gemini执行器的情况下,只有Opus保持正向;GPT‑5.5下降至-10。诊断行为极少——轨迹查看器仅使用了两次。反馈评分被证明对最终版本选择不可靠:9个自选最终版本中只有2个在保留数据上是最优的。