評価ソース

各ソースが何を測り、どう更新され、ランキングに採用されているかをまとめた。

20今回ランキングに採用69審査済みのソースと個別項目

総合

能力を横断する総合テストと、人間によるブラインド比較。

コードを書くことからリポジトリの修正まで、モデルがソフトウェアを作り上げられるかを見る。

数学、論理、未知のルールを通じ、モデルが新しい問題を考え抜けるかを見る。

事実に関する質問応答と大学院レベルの科学知識で、知識の定着と回答の正確さを見る。

金融分析、法律相談、銀行業務を通じ、専門的なタスクをやり遂げられるかを見る。

画像理解の証拠は引き続き総合ランキングに残す。画像を読み解く力とデザインの美しさは別の能力である。

言語基礎の補完的な証拠であり、英語の文章力を中国語の能力とはみなさない。

「観察中」は、データや実行条件、利用範囲をまだ確認していることを示し、総合ランキングと分野別ランキングには含めない。同じ評価を重複して取得したり表示を切り分けたりしても、票の重みは増えない。異なる評価間の問題の重なりは引き続き確認する。