評価ソース公式サイト
FACTS Parametric
Google DeepMind / Kaggle / 知識 · 検索ツールを使わずに世界の事実に関する質問に答え、モデル自身の知識の正確さを検証する。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
固定したタスクバージョンの Score のみを考慮し、公開セット、非公開セット、信頼区間は検証用に残す。関連する 3 つのスコアを二重計上することはできない。FACTS は AA v4.3 の基礎ベンチマーク 10 項目に含まれていない。
当サイトでの使い方
観察中：公式のプロトコルとライセンスは確認済みだが、完了した問題数や完全性の表示がない。一部の行は区間が著しく広く、総合点と公開セット・非公開セットの集計方法にも確認待ちの点がある。評価元の説明を待つ。異常な行を削除して無理に接続することはせず、採点予算も割り当てない。
評価の限界とデータの出典
審査員と評価の主催者がいずれも Google であり、他機関の証拠と合わせて見る必要がある。エクスポートには一部の結果が同じ問題セットを完了したかどうかの説明がなく、部分的な結果を完全な評価として扱えない。区間から逆算したサンプル数は公式に確認された事実ではない。
データライセンス：Apache 2.0 · 公式の benchmark と Score task のページに明記されている。Kaggle のドキュメントで、公開ランキングの JSON をログインなしでダウンロードできる。
成績は Google DeepMind / Kaggle が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。