コーディングエージェントのハーネス比較、差は再実行のノイズ程度

研究ではQwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Previewの5モデルを、Claude Code、OpenCode、mini-SWE-agentの3ハーネスで評価した。SWE-bench Verifiedの難問45件と別の447件を使い、複数の設定は2回実行してノイズを測った。従来の比較は多くが1回の実行に基づくが、同じ設定の再実行でもSWE-bench Verifiedで最大6ポイント変動する。Zhipu AIが主張するClaude Codeに対する2.4ポイントの優位も、この範囲に収まる。 447件のタスクでは、最も重いClaude Codeと最も軽いmini-SWE-agentの差は2ポイント未満で、5ポイントの帯の中では統計的に同等だった。タスクごとの結果が変わる割合は、再実行間で13%、ハーネス間でも13%、モデル間では22%だった。45件では13ポイントの差でも半分の確率でしか検出できず、447件でも信頼して検出できるのは約5ポイントからになる。 測定できたハーネス効果はOpenCodeの低下だけで、大規模タスク群で他の2つを最大9ポイント下回った。差の約半分は出力上限が原因で、推論中に上限を超えるとClaude Codeは続行を促すが、OpenCodeはそこでステップを終える。残りの理由は著者にも説明できず、OpenCodeではモデルが早く作業を止める傾向が見られたという。 コストはシステムプロンプトとツール説明の大きさで決まる。これらは毎ステップ再送され、Claude Codeは約16,600トークン、OpenCodeは約7,000、mini-SWE-agentは1,000未満だった。同じモデルとタスクでも1タスクの費用は最大3倍違う。GLM-5.3-Flashでは1試行がClaude Codeで1.81元、OpenCodeで0.56元だった。Deepseek-V4-Flashではmini-SWE-agentのステップ数が増え、Claude Codeとほぼ同額になった。 思考(Extended Thinking)を切ると、Qwen3.6のmini-SWE-agentは11ポイント低下し、HY4-PreviewもClaude Codeで11ポイント下がった。著者はモデルとハーネスの組み合わせに依存するとしつつ、検証設計が小さく理由は説明できないとする。主に1つのベンチマークに依存し、Terminal-Bench 2.1での小規模な確認でも同じ傾向だった。著者はハーネス比較には同一設定の再実行を併記するよう勧めている。

The Decoderより