評価ソース公式サイト
SpreadsheetBench 2
SpreadsheetBench / Renmin University / AfterQuery / 専門業務 · 財務モデリング、ワークブックの修正、データ可視化まで、表計算の仕事を一通りこなす。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
V2 の 321 タスクと統一 SWE-agent 条件に固定する。独立した業務製品や他の scaffold の成績は基盤モデルに帰属させない。表の可視化が正しいことは、幅広い審美性とは別物である。
当サイトでの使い方
観察中：安定した JSON と行ごとの日付はあるが、現在の統一条件での基盤モデルのカバーが不十分。今期のモデルが実測されてからスコアを接続する。
評価の限界とデータの出典
観察中：安定した JSON と行ごとの日付はあるが、現在の統一条件での基盤モデルのカバーが不十分。今期のモデルが実測されてからスコアを接続する。
データライセンス：公式サイトのフッターに MIT と記載。データセットとコードの入り口は公開されている。
成績は SpreadsheetBench / Renmin University / AfterQuery が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。