本文へスキップ
評価ソース

Mystery Game Puzzles

Epoch AI / 推論 · 未知のルールから正しい行動を導く

公式サイト
AIサイシン での扱いランキング採用
配分1.2%
元データの日時10/20 07:39
最終同期10/24 02:22

何を、どう測るか

Epoch 標準プロトコルの mean_score のみを採用する。問題が非公開という制約は明記して残す。

当サイトでの使い方

正式に採点する。同じ問題ファミリーは固定予算を共有する。

評価成績

一定のルールに従い、公開モデルごとに代表的な構成を一つ採用する。匿名のテスト版モデルは表示せず、元の順位をそのまま残す。各項目最大 30 件。

元の順位モデル名元スコア代表構成
1gpt-6-astra_maxOpenAI84.0%Max 推論
2gpt-6.1-sol_maxOpenAI80.0%Max 推論
3claude-opus-5-5_maxAnthropic71.0%Max 推論
4claude-sonnet-5-5_maxAnthropic65.0%Max 推論
5gemini-4-argon_highGoogle64.0%High 推論
6claude-opus-5_maxAnthropic59.0%Max 推論
7claude-fable-5-1_maxAnthropic58.0%Max 推論
7gpt-5.6-sol_maxOpenAI58.0%Max 推論
9gpt-6-sol_maxOpenAI56.0%Max 推論
9gpt-5.5_xhighOpenAI56.0%xHigh 推論
11claude-fable-5_maxAnthropic52.0%Max 推論
13muse-wonder-1.0_max—51.0%Max 推論
14deepseek-v4.1-flash-1017_maxDeepSeek49.0%Max 推論
15gemini-3.8-flash_highGoogle47.0%High 推論
16deepseek-v4-pro-0813_maxDeepSeek43.0%Max 推論
16deepseek-v4.1-flash_maxDeepSeek43.0%Max 推論
18qwen3.8-max_xhighAlibaba38.0%xHigh 推論
19gemini-3.7-flash_highGoogle37.0%High 推論
19gpt-5.4-2026-03-05_xhighOpenAI37.0%xHigh 推論
22claude-opus-4-8_maxAnthropic36.0%Max 推論
23gpt-5.6-terra_maxOpenAI35.0%Max 推論
23claude-sonnet-5_maxAnthropic35.0%Max 推論
25grok-4.6_xhighxAI34.0%xHigh 推論
25gemini-3.1-pro-preview_highGoogle34.0%High 推論
25deepseek-v4-flash-0731_maxDeepSeek34.0%Max 推論
28glm-5.3_maxZ.ai33.0%Max 推論
30qwen3.7-maxAlibaba32.0%ソース既定の構成
30gemini-3.5-flash_highGoogle32.0%High 推論
34claude-haiku-5-5_maxAnthropic30.0%Max 推論
34gemini-3.6-flash_highGoogle30.0%High 推論
評価の限界とデータの出典

正式に採点する。同じ問題ファミリーは固定予算を共有する。

データライセンス:CC BY 4.0 · Epoch AI が独自に実施した評価データ

成績は Epoch AI が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。