本文へスキップ
評価ソース

Mercor APEX-Agents 1.1

Mercor / 専門業務 · 投資銀行、コンサルティング、法律の長いタスクで、モデルがアシスタントとして一連の仕事をやり遂げられるかを見る。

公式サイト
AIサイシン での扱いランキング採用
配分4%
元データの日時09/08 09:00
最終同期10/24 02:22

何を、どう測るか

1.1 データセットと公式 Loop 環境に固定し、Pass@1 とその誤差を採用する。推論設定は事前に固定した基準で選ぶ。Mean Score は採点項目の平均達成度であり、タスク完了率と混同しない。

当サイトでの使い方

1.1 版公式 Loop の Pass@1 に固定し、ツールと業務の予算のうち 4% を単独で占める。別に 2% を統一環境の銀行業務タスクに充てる。

評価成績

一定のルールに従い、公開モデルごとに代表的な構成を一つ採用する。匿名のテスト版モデルは表示せず、元の順位をそのまま残す。各項目最大 30 件。

元の順位モデル名元スコア代表構成
1gemini-4-argonGoogle82.4%High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
2claude-sonnet-5-5Anthropic75.5%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
3claude-opus-5-5Anthropic73.5%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
4claude-fable-5.1Anthropic68.6%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
5gemini-3.7-flashGoogle67.8%High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
6claude-opus-5Anthropic65.8%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
7grok-4-6-xhighxAI65.3%xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
8gpt-6-astra-maxOpenAI64.7%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
9gemini-3.8-flashGoogle64.3%High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
10claude-fable-5Anthropic63.6%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
11deepseek-v4-1-flash-1017DeepSeek63.4%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
12qwen-3-8-max-xhighAlibaba63.3%xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
13gpt-6-1-solOpenAI60.0%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
16gpt-5.6-terra-maxOpenAI58.2%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
17mimo-v2.6-flash-rlXiaomi57.4%システム全体 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
18glm-5-3Z.ai56.6%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
19grok-4-5xAI56.2%High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
20claude-haiku-5-5Anthropic56.1%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
21deepseek-v4-flashDeepSeek55.3%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
22gpt-5.5-xhighOpenAI55.1%xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
23grok-4.7xAI54.6%xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
24claude-sonnet-5-maxAnthropic54.5%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
25mimo-v2.6-proXiaomi54.4%システム全体 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
26gpt-6-solOpenAI54.3%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
27minimax-m3p1-flashMiniMax53.9%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
28glm-5-3-flashZ.ai52.8%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
30responses/gpt-5.4OpenAI52.4%xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
31gpt-5-6-sol-max-proOpenAI51.5%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
32inception/mercury-3Inception50.2%High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
33claude-opus-4-7Anthropic49.2%Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent
評価の限界とデータの出典

投資銀行、コンサルティング、法律のタスクに限られる。元のページにはモデルごとの評価日がなく、一部の実行が欠けている理由も公表されていない。このスコアをあらゆる事務作業の信頼性と解釈することはできない。

データライセンス:公式の公開結果。データとコードのライセンスは、ランキングの再配布許諾を意味しない

成績は Mercor が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。