評価ソース公式サイト
FinanceBenchmark
FinanceBenchmark / 専門業務 · 金融のプライシング、資本計算、リスク管理のタスクをこなし、数値とコードの実行結果で検証する。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
問題セット v2、v3 と実行環境のバージョンは分ける。1 問あたり 3 回試行する条件を残す。公式サイトの Tasks passed は少なくとも 1 回成功したことを指すが、同時に Pass@1 とも呼ばれており、1 回あたりの平均正答率と混同できない。Finance Index も別の集計指標である。
当サイトでの使い方
観察中：確定した答えとコード検証による金融の証拠を補える。指標の定義はなお照合が必要で、公式 Sol の結果 JSON のダウンロードは今回 404 を返した。現在はソースを登録するのみで、自動収集も採点もしない。
評価の限界とデータの出典
3 回中 1 回以上の成功は 1 回あたりの成功率とは異なる。区間は正しい指標に対応している必要があり、ローリングするモデルエイリアスもバージョンの検証が要る。問題セットとダウンロードボタンが公開されていても、元の成績を取得できるとは限らない。
データライセンス：公式リポジトリのコードは MIT で、サイトは FinanceBenchmark の引用を残すよう求めている。リアルタイム成績の完全なエクスポートの利用範囲は未確認で、コードのライセンスをランキングデータのライセンスの代わりにはしない。
成績は FinanceBenchmark が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。