順位の決め方
複数の公開評価を総合している。順位の裏にある証拠と手法を説明する。
0〜100
共通の証拠から、明快な順序を。
複数の公開評価を総合し、既知のスコアとの矛盾ができるだけ少ない完全な順位を求める。総合ランキングと4つの分野別ランキングは、いずれも上位30位まで表示する。
コンセンサス指数は、元の順位を支える証拠の差を比較しやすいよう0〜100に換算したものである。正答率でも、能力差のパーセンテージでもない。支持が拮抗する場合は同点になりうるが、順位はあくまで証拠全体で決まる。
- 01
まず、同じモデルかを確かめる
各ランキングのモデル名とバージョンを統一する。同じモデルで推論レベルが異なる場合は代表構成を一つだけ選ぶ。選び方は事前に決めてあり、最高スコアを拾うことはしない。匿名テストのコードネームや、他のモデルを併用してタスクを完了したスコアは除外する。正式に公開された Preview 版は対象に含める。
- 02
実際に評価されたモデル同士を比べる
比べるのは同じ評価の中の実際のスコアだけである。双方に公開された誤差がある場合、誤差の範囲内のわずかな差は引き分けに近いものとし、確定した勝敗とはみなさない。評価されていなければ、その対戦は存在しない。
- 03
票の重みを先に決め、共通の見解を集約する
各評価には事前に決めた予算を割り当てる。総合ランキングには最低でも3つの評価機関、3つの証拠ファミリー、3つの専門分野のカバーが必要である。同じソースの重複取得や表示上の切り分けで、票の重みが増えることはない。
- 04
矛盾が最も少ない完全な順位を探す
評価同士の見解は食い違うことがある。当サイトは、共通の証拠に反する正味の票の重みが最も小さい順序を選び、そのうえで表示用の指数を別に計算する。未評価を0点で埋めることはせず、非公開のスコアを推測することもない。
総合テスト、人間のブラインド投票、専門評価をあわせて見る。
総合評価が30%、人間のブラインド投票が10%、専門評価が合計60%を占める。新しく加える評価は、公開された説明で重複関係を確認したうえで、該当する枠から配分する。欠けた枠をほかの評価に回すことはない。
- 総合評価30%AA Index
- 人間のブラインド比較10%Arena Text · Arena 創作ブラインド比較
- コーディングとデザイン12%Arena WebDev · DeepSWE v1.1 · TapTap Maker · LiveBench · コーディング
- 文章と表現9%LiveBench · 言語と指示 · Creative Writing v3 · Longform Writing
- 数学と推論12%LiveBench · 推論 · FrontierMath v2 · Tiers 1–3 · FrontierMath v2 · Tier 4 · Chess Puzzles · Mystery Game Puzzles
- 知識と事実6%SimpleQA Verified · GPQA Diamond
- 画像理解6%Arena Vision
- ツールと事務作業6%APEX-Agents 1.1 · τ³-Banking
- 中国語と多言語6%AA 中国語／多言語
- 業界の専門タスク3%Vals Finance Agent
コーディング、推論、知識、専門業務は、それぞれ実際の評価を探し、分野別スコアを独立して計算する。画像理解と多言語の証拠は引き続き総合ランキングに残す。分野名を変えても、同じスコアの投票権が増えることはない。総合スコアは分野別スコアの算術平均ではない。分野別ランキングは通常、有効な評価が2つ以上、比較できるモデルが5つ以上そろった場合に表示する。知識は現在 Epoch の2つの評価に支えられており、同一機関である限界を明記している。創作の好みや Web 開発などの証拠は引き続き総合ランキングに使い、初版では美的センスや文章のランキングを個別には設けていない。
よくある質問
証拠が少ないモデルでもランキングに載るのはなぜか？
「証拠に敏感」とはどういう意味か？
上位のモデルは一対一の比較で必ず勝っているのか？
順位が自分の使用感と違うのはなぜか？
新しいモデルはいつ載るのか？
あるランキングが一時的に開けない場合はどうなるか？
総合指数と専門評価で同じ点を二重に数えることはないか？
価格や速度は順位に影響するか？
計算の詳細と現行バージョンを見る
手法バージョン：2026.09-public-consensus-v15。重み付き不完全 Kemeny 順位付けを採用する。共通に評価されたモデルの各ペアについて正味の支持 M を集計し、逆順に並べられたすべての正味の支持の合計を最小化することを目的とする。整数最適化は最適性の状態と目的関数の上下界を返し、検証を完全に通過した結果だけを正式公開に使う。
双方に明確な標準誤差がある場合、正味の支持は 2Φ(スコア差 / 合成標準誤差) − 1 とし、既定では共分散をゼロとする。それ以外の比較では、元の優劣の向きだけを使う。誤差が不明であることは誤差ゼロを意味しない。小さな差を序数として扱う点は限界として残る。票の重みは潜在的なモデルペアに対して割り当てるため、多くのモデルをカバーするソースほど多くの比較枠を使う。名目上の予算を、最終順位への正確な寄与率と読むことはできない。
表示用の指数は元の順位を保つ。隣り合うモデルの前後を一組ずつ入れ替え、残りのモデルの並べ替えも許したうえで、最小限増える逆方向の正味の支持を計算する。これらの非負の支持差を元の順位に沿って累積し、固定した参照グループを基準に sigmoid で0〜100に写像する。代わりの順序も同じく最適な場合は間隔をゼロのままとし、表示は小数第1位までで、最小のスコア差を人為的に設けることはしない。指数が逆に順位を動かすことはない。ただし、掲載対象の集合、参照モデル、証拠の変化は指数に影響し、スコア差は実際の能力の距離と等しくない。コストが同じ解はモデル ID の順で固定する。整数最適化には HiGHS ソルバー（highs 1.15.3）を使い、誤差換算に使う正規分布関数は SciPy の norm.cdf と同じアルゴリズムを採用している。ソース、利用条件、評価対象の資格、各回の計算入力はすべてバージョンを保存している。共通の証拠ネットワークにつながっていない場合、連結成分をまたぐ見かけだけ精密な順序は公開しない。
固定参照モデル：claude-fable-5、gpt-5-6-sol、kimi-k-3、qwen-3-8-max、gpt-5-4、claude-opus-4-8、claude-sonnet-5、grok-4-5、gemini-3-5-flash、glm-5-2、claude-sonnet-4-6、qwen-3-7-max、kimi-k-2-6、deepseek-v-4-pro、qwen-3-6-plus、minimax-m-3、gpt-5-4-mini、grok-4-3。参照グループは指数の尺度を決めるためのもので、どのメーカーを何位にすべきかを指定するものではない。分野が異なる指数同士は直接比較しない。