評価ソース公式サイト
Mercor APEX-Agents 1.1
Mercor / 専門業務 · 投資銀行、コンサルティング、法律の長いタスクで、モデルがアシスタントとして一連の仕事をやり遂げられるかを見る。
AIサイシン での扱いランキング採用
配分4%
元データの日時09/08 09:00
最終同期10/24 02:22
何を、どう測るか
1.1 データセットと公式 Loop 環境に固定し、Pass@1 とその誤差を採用する。推論設定は事前に固定した基準で選ぶ。Mean Score は採点項目の平均達成度であり、タスク完了率と混同しない。
当サイトでの使い方
1.1 版公式 Loop の Pass@1 に固定し、ツールと業務の予算のうち 4% を単独で占める。別に 2% を統一環境の銀行業務タスクに充てる。
評価成績
一定のルールに従い、公開モデルごとに代表的な構成を一つ採用する。匿名のテスト版モデルは表示せず、元の順位をそのまま残す。各項目最大 30 件。
| 元の順位 | モデル名 | 元スコア | 代表構成 |
|---|---|---|---|
| 1 | gemini-4-argonGoogle | 82.4% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 2 | claude-sonnet-5-5Anthropic | 75.5% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 3 | claude-opus-5-5Anthropic | 73.5% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 4 | claude-fable-5.1Anthropic | 68.6% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 5 | gemini-3.7-flashGoogle | 67.8% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 6 | claude-opus-5Anthropic | 65.8% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 7 | grok-4-6-xhighxAI | 65.3% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 8 | gpt-6-astra-maxOpenAI | 64.7% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 9 | gemini-3.8-flashGoogle | 64.3% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 10 | claude-fable-5Anthropic | 63.6% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 11 | deepseek-v4-1-flash-1017DeepSeek | 63.4% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 12 | qwen-3-8-max-xhighAlibaba | 63.3% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 13 | gpt-6-1-solOpenAI | 60.0% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 16 | gpt-5.6-terra-maxOpenAI | 58.2% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 17 | mimo-v2.6-flash-rlXiaomi | 57.4% | システム全体 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 18 | glm-5-3Z.ai | 56.6% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 19 | grok-4-5xAI | 56.2% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 20 | claude-haiku-5-5Anthropic | 56.1% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 21 | deepseek-v4-flashDeepSeek | 55.3% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 22 | gpt-5.5-xhighOpenAI | 55.1% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 23 | grok-4.7xAI | 54.6% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 24 | claude-sonnet-5-maxAnthropic | 54.5% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 25 | mimo-v2.6-proXiaomi | 54.4% | システム全体 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 26 | gpt-6-solOpenAI | 54.3% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 27 | minimax-m3p1-flashMiniMax | 53.9% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 28 | glm-5-3-flashZ.ai | 52.8% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 30 | responses/gpt-5.4OpenAI | 52.4% | xHigh 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 31 | gpt-5-6-sol-max-proOpenAI | 51.5% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 32 | inception/mercury-3Inception | 50.2% | High 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
| 33 | claude-opus-4-7Anthropic | 49.2% | Max 推論 · loop_truncated_tools_agent · apex-agents:v1.1:loop_truncated_tools_agent |
評価の限界とデータの出典
投資銀行、コンサルティング、法律のタスクに限られる。元のページにはモデルごとの評価日がなく、一部の実行が欠けている理由も公表されていない。このスコアをあらゆる事務作業の信頼性と解釈することはできない。
データライセンス:公式の公開結果。データとコードのライセンスは、ランキングの再配布許諾を意味しない
成績は Mercor が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。