評価ソース公式サイト
Humanity’s Last Exam
CAIS / Scale AI / 知識 · 分野を横断する高難度の学術知識と推論。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
問題セット、ツール条件、審査員を固定し、HLE、HLE-Rolling、ツールありの結果は別々に比較する。AA v4.3 にはすでに HLE が含まれるため、今後利用できる専門成績があってもカテゴリ用に限り、総合ランキングでは二重計上しない。
当サイトでの使い方
観察中：公式は一部の新モデルを追加したが、元の成績にはまだ検証可能な評価日がない。Epoch の自社評価データのライセンスは当てはめず、既存の AA 総合の証拠に再び加点しない。
評価の限界とデータの出典
観察中：公式は一部の新モデルを追加したが、元の成績にはまだ検証可能な評価日がない。Epoch の自社評価データのライセンスは当てはめず、既存の AA 総合の証拠に再び加点しない。
データライセンス：評価コードは MIT。公式ランキング成績の再表示範囲は確認待ち。
成績は CAIS / Scale AI が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。