評価ソース公式サイト
MCP Atlas
Scale AI / 専門業務 · 実際の MCP サービスを通じて資料を検索し、文書やデータベースを操作して、ソフトウェアをまたぐタスクを完了する。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
2026 年 4 月に調整された実行プロトコルと、ツール呼び出し 100 回の予算に固定する。全 1,000 問と公開の 500 問は分ける。タスク合格率のみを採用し、回答条件のカバー率は二重計上しない。審査員、再試行、ツールのバージョンは成績のバッチごとに固定する必要がある。
当サイトでの使い方
観察中：業務ソフトをまたぐツール実行の証拠を補える。安定した成績エクスポート、実際の評価バッチ、再表示範囲の確認待ちで、現在はソースを登録するのみで、自動収集も採点もしない。
評価の限界とデータの出典
ウェブ上の旧来の手法説明とリアルタイムの成績は一致しないことがある。公開問題セットのコードはリアルタイム成績のエクスポートではない。Scale の他のランキングと同じ機関に属し、独立機関の数は増えない。
データライセンス：公式の環境コードは MIT。このライセンスはリアルタイムのウェブ成績には自動で及ばず、ランキングデータの再表示範囲は確認待ち。
成績は Scale AI が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。