評価ソース公式サイト
Short-Story · 短編小説
Lech Mazur · 指定された人物、筋立て、文体の条件を自然に織り込み、完結した短編小説を書く。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
600〜800 語の短編、創作条件 10 項目。同一プロンプト、3 社の審査員、双方向比較で評価する。Thurstone の主スコアを採用し、BT は診断用にとどめて二重計上しない。複数の推論設定は固定ルールで選ぶ。
当サイトでの使い方
観察中：正式データの再利用範囲を確認し、README と機械可読の成績のずれを解消してから接続する。
評価の限界とデータの出典
モデル審査員にも文学的な好みがある。一部のモデルは全物語を書き終えていない。短編の力は長編小説や中国語の文章力と同じではない。
データライセンス：ランキングデータの再利用許諾が明示されていない。GitHub で公開されていても、オープンライセンスとは限らない。
成績は Lech Mazur が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。