評価ソース公式サイト
SimpleBench
SimpleBench / 推論 · 日常的な常識と論理の問題で、問題に含まれる実際の制約をモデルが見抜けるかを検証する。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
選択式と自由回答を分け、AVG@5、温度、プロンプトのプロトコルを固定する。ランキングへの追加日を問題ごとの評価日としては扱わない。
当サイトでの使い方
候補として観察中：新モデルのカバーは早い。公式サイトの成績の再利用範囲と、固定可能なデータバージョンの説明を待つ。コードのライセンスは当てはめず、自動収集と採点はまだしていない。
評価の限界とデータの出典
日常の常識問題には補完的な価値があるが、問題の代表性と、選択式か自由回答かという条件が解釈に影響する。
データライセンス：サンプル問題と評価コードのリポジトリは MIT。公式サイトが別途公開する最新成績の再表示範囲は未確認。
成績は SimpleBench が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。