SimpleQA Verified

Name: SimpleQA Verified
Creator: Epoch AI

Epoch AI / 知識 · 短い質問に対する事実の正確さ

AIサイシンでの扱いランキング採用

配分4%

元データの日時10/20 07:38

最終同期10/24 02:22

何を、どう測るか

Epoch が独自に再実行した mean_score のみを採用し、固定した推論設定を使う。ECI や Best score の集計列は読み込まない。

正式に採点する。同じ問題ファミリーは固定予算を共有する。

一定のルールに従い、公開モデルごとに代表的な構成を一つ採用する。匿名のテスト版モデルは表示せず、元の順位をそのまま残す。各項目最大 30 件。

元の順位	モデル名	元スコア	代表構成
1	gemini-4-argon_highGoogle	76.0%	High 推論
2	gpt-6-astra_maxOpenAI	75.6%	Max 推論
3	gpt-6.1-sol_maxOpenAI	73.9%	Max 推論
4	gemini-3.1-pro-preview_highGoogle	73.5%	High 推論
5	claude-opus-5-5_maxAnthropic	72.2%	Max 推論
6	claude-fable-5-1_maxAnthropic	70.8%	Max 推論
7	claude-fable-5_xhighAnthropic	70.7%	xHigh 推論
8	gpt-5.6-sol_maxOpenAI	69.7%	Max 推論
8	gemini-3.8-flash_highGoogle	69.7%	High 推論
10	gemini-3.7-flash_highGoogle	69.2%	High 推論
11	gemini-3-flash-preview_highGoogle	66.8%	High 推論
12	gemini-3.6-flash_highGoogle	66.2%	High 推論
12	gemini-3.5-flash_highGoogle	66.2%	High 推論
14	gpt-5.5_xhighOpenAI	63.0%	xHigh 推論
15	gpt-6-sol_maxOpenAI	60.7%	Max 推論
16	muse-spark-1.2_xhighMeta	60.3%	xHigh 推論
17	claude-opus-5_maxAnthropic	59.9%	Max 推論
18	muse-spark-1.1Meta	57.8%	ソース既定の構成
19	Muse-Spark-Open-816B-A42B_xhighMeta AI	56.6%	xHigh 推論
20	grok-4.7_xhighxAI	56.0%	xHigh 推論
21	qwen3.7-maxAlibaba	55.8%	ソース既定の構成
22	claude-opus-4-8_maxAnthropic	53.0%	Max 推論
23	deepseek-v4-pro-0813_maxDeepSeek	52.9%	Max 推論
24	qwen3.6-max-previewAlibaba	52.0%	ソース既定の構成
25	claude-opus-4-7_xhighAnthropic	51.7%	xHigh 推論
26	kimi-k3_maxMoonshot AI	50.6%	Max 推論
27	gpt-5-2025-08-07_highOpenAI	50.1%	High 推論
28	o3-2025-04-16_highOpenAI	49.4%	High 推論
30	grok-4.6_xhighxAI	48.9%	xHigh 推論
31	qwen3-max-2025-09-23Alibaba	48.7%	ソース既定の構成

評価の限界とデータの出典

正式に採点する。同じ問題ファミリーは固定予算を共有する。

データライセンス：CC BY 4.0 · Epoch AI が独自に実施した評価データ

成績は Epoch AI が公表したもの。元のスコアと AIサイシンのコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。