本文へスキップ
評価ソース

Terminal-Bench 4 · システム参考

Harbor / Terminal-Bench / コーディング · モデルと異なる Agent を組み合わせたターミナルタスクの元の成績を残し、相互確認に使う。

公式サイト
AIサイシン での扱い参考のみ
配分採点対象外
元データの日時10/23 09:41
最終同期10/24 02:22

何を、どう測るか

Terminal-Bench 4.0 に固定し、モデル、Agent のバージョン、推論設定、実行回数をそれぞれ残す。異なるツールシステムを統一したモデル条件とは解釈しない。

当サイトでの使い方

元の成績の参考：公式の提出リストとデータバージョンを固定したうえで自動収集し、異なるシステム構成を 1 件ずつ残す。モデルの代表スコアは選ばない。相互確認専用で、総合やコーディングのランキングには入れない。

評価成績

以下はモデルと各種エージェントを組み合わせたシステムとしての成績で、実行条件が異なるため参考扱いである。各項目の表示は最大 30 構成、匿名のテスト版モデルは表示しない。

元の順位モデル名元スコア実行構成
1claude-opus-5-5Anthropic64.8%Claude Code 2.1.284 · max 推論
2claude-sonnet-5-5Anthropic61.8%Claude Code 2.1.284 · max 推論
3gpt-6.1-solOpenAI58.2%Codex 0.159.0 · max 推論
4claude-fable-5-1Anthropic57.9%Claude Code 2.1.257 · max 推論
5claude-opus-5Anthropic51.8%Claude Code 2.1.231 · max 推論
6gpt-6-solOpenAI49.4%Codex 0.159.0 · max 推論
7claude-fable-5Anthropic44.5%Claude Code 2.1.231 · max 推論
8glm-5.3Z.ai41.8%Claude Code 2.1.207 · max 推論
9gpt-5.6-solOpenAI37.3%Codex 0.149.1 · max 推論
10glm-5.3-flashZ.ai35.8%Claude Code 2.1.285 · 推論レベルの報告なし
11qwen3.8-max-0902Alibaba27.0%Claude Code 2.1.285 · max 推論
12claude-opus-4-8Anthropic23.6%Claude Code 2.1.231 · max 推論
13gpt-5.6-terraOpenAI21.5%Codex 0.149.1 · max 推論
14grok-4.6xAI20.3%Grok Build 1.0.5 · 推論レベルの報告なし
15gemini-3.8-flashGoogle19.1%mini-SWE-agent 2.4.6 · high 推論
16gpt-5.6-lunaOpenAI17.3%Codex 0.149.1 · max 推論
17gpt-6-lunaOpenAI16.4%Codex 0.159.0 · max 推論
18muse-spark-1.3Meta14.6%Muse Code 1.4.1 · xhigh 推論
19claude-sonnet-5Anthropic12.4%Claude Code 2.1.231 · max 推論
19grok-4.5xAI12.4%Grok Build 1.0.5 · 推論レベルの報告なし
21gemini-3.7-flashGoogle11.2%mini-SWE-agent 2.4.6 · high 推論
評価の限界とデータの出典

モデルによって Claude Code、Codex、GrokBuild、mini-SWE など異なるツールを使う。AA v4.3 にはすでに Terminal-Bench v4 が含まれており、総合の票に再び加えてはならない。

データライセンス：Apache 2.0 · 公式 harbor-framework/terminal-bench リポジトリ内の成績提出。出典表示、ライセンス、変更内容の説明を残す。

成績は Harbor / Terminal-Bench が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。