XNews

DeepSeek V4.1 Flash:エージェントスキャフォールドのベンチマーク比較

DeepSeek V4.1 Flash:エージェントスキャフォールドのベンチマーク比較

DeepSeek V4.1 Flashの技術報告書セクション5.3.4では、異なるコーディングエージェントスキャフォールド間のパフォーマンス比較を行い、モデルが特定のハーネスに依存しないことを示している。ベンチマークはDeepSWE v1.1とTerminal-Bench v2.1。結果:サードパーティフレームワークは良好なパフォーマンスを示し(DeepSWEではClaude Code 69.8、mini-SWEが最高の74.2)、DSH内部モードではツールが必ずしも役立つとは限らないことが示された(Minimal 72.6、Standard 70.5、PTC 67.6)。Terminal-Benchのスコアは狭い範囲(84.1~90.6)に集中。Claude Codeは4バージョンで安定した結果を示し(DeepSWE平均68.9、Terminal-Bench平均87.8)。

Source posts