評価ソース公式サイト
Mystery Game Puzzles
Epoch AI / 推論 · 未知のルールから正しい行動を導く
AIサイシン での扱いランキング採用
配分1.2%
元データの日時10/20 07:39
最終同期10/24 02:22
何を、どう測るか
Epoch 標準プロトコルの mean_score のみを採用する。問題が非公開という制約は明記して残す。
当サイトでの使い方
正式に採点する。同じ問題ファミリーは固定予算を共有する。
評価成績
一定のルールに従い、公開モデルごとに代表的な構成を一つ採用する。匿名のテスト版モデルは表示せず、元の順位をそのまま残す。各項目最大 30 件。
| 元の順位 | モデル名 | 元スコア | 代表構成 |
|---|---|---|---|
| 1 | gpt-6-astra_maxOpenAI | 84.0% | Max 推論 |
| 2 | gpt-6.1-sol_maxOpenAI | 80.0% | Max 推論 |
| 3 | claude-opus-5-5_maxAnthropic | 71.0% | Max 推論 |
| 4 | claude-sonnet-5-5_maxAnthropic | 65.0% | Max 推論 |
| 5 | gemini-4-argon_highGoogle | 64.0% | High 推論 |
| 6 | claude-opus-5_maxAnthropic | 59.0% | Max 推論 |
| 7 | claude-fable-5-1_maxAnthropic | 58.0% | Max 推論 |
| 7 | gpt-5.6-sol_maxOpenAI | 58.0% | Max 推論 |
| 9 | gpt-6-sol_maxOpenAI | 56.0% | Max 推論 |
| 9 | gpt-5.5_xhighOpenAI | 56.0% | xHigh 推論 |
| 11 | claude-fable-5_maxAnthropic | 52.0% | Max 推論 |
| 13 | muse-wonder-1.0_max— | 51.0% | Max 推論 |
| 14 | deepseek-v4.1-flash-1017_maxDeepSeek | 49.0% | Max 推論 |
| 15 | gemini-3.8-flash_highGoogle | 47.0% | High 推論 |
| 16 | deepseek-v4-pro-0813_maxDeepSeek | 43.0% | Max 推論 |
| 16 | deepseek-v4.1-flash_maxDeepSeek | 43.0% | Max 推論 |
| 18 | qwen3.8-max_xhighAlibaba | 38.0% | xHigh 推論 |
| 19 | gemini-3.7-flash_highGoogle | 37.0% | High 推論 |
| 19 | gpt-5.4-2026-03-05_xhighOpenAI | 37.0% | xHigh 推論 |
| 22 | claude-opus-4-8_maxAnthropic | 36.0% | Max 推論 |
| 23 | gpt-5.6-terra_maxOpenAI | 35.0% | Max 推論 |
| 23 | claude-sonnet-5_maxAnthropic | 35.0% | Max 推論 |
| 25 | grok-4.6_xhighxAI | 34.0% | xHigh 推論 |
| 25 | gemini-3.1-pro-preview_highGoogle | 34.0% | High 推論 |
| 25 | deepseek-v4-flash-0731_maxDeepSeek | 34.0% | Max 推論 |
| 28 | glm-5.3_maxZ.ai | 33.0% | Max 推論 |
| 30 | qwen3.7-maxAlibaba | 32.0% | ソース既定の構成 |
| 30 | gemini-3.5-flash_highGoogle | 32.0% | High 推論 |
| 34 | claude-haiku-5-5_maxAnthropic | 30.0% | Max 推論 |
| 34 | gemini-3.6-flash_highGoogle | 30.0% | High 推論 |
評価の限界とデータの出典
正式に採点する。同じ問題ファミリーは固定予算を共有する。
データライセンス:CC BY 4.0 · Epoch AI が独自に実施した評価データ
成績は Epoch AI が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。