評価ソース公式サイト
BullshitBench v2
Peter Gostev / BullshitBench / 知識 · 質問に含まれる誤った前提を見抜けるか、誤りに乗って作り話を続けないかを見る。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
公式の既定である全試行中の明確な識別率を採用し、回答した応答の平均点も残す。拒否率は監査用に残す。2 つの元指標は現在の総合・カテゴリの票には入れない。
当サイトでの使い方
元の成績の参考：同一の公開データバージョンで集計、問題セット、構成、実行日を照合したうえで自動収集する。匿名モデルは公開せず、固定バージョンを確認できないローリング API はモデルの代表成績としない。現在は総合・カテゴリのスコアに入れない。
評価の限界とデータの出典
すべて誤った前提の問題で、一般的な知識の幅を代表しない。モデル審査員と拒否の扱いが結果に影響し、ローリングエイリアスと匿名モデルは先に身元の検証が必要。
データライセンス：MIT · Copyright (c) 2026 Peter Gostev。公式成績は同じリポジトリで公開され、データ単独のライセンス例外はない。
成績は Peter Gostev / BullshitBench が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。