評価ソース公式サイト
PRBench · Legal
Scale AI / 専門業務 · 実際の法律業務における複雑な質問に答え、専門的な判断と論証の質を検証する。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
Legal の全 500 問か Hard の 250 問のいずれかに固定し、検索ツール、推論設定、審査員のバージョンをそろえる。その問題セットの rubric 集計スコアを採用し、完全版と高難度サブセットを二重計上せず、専門的な質疑応答を完全な文書納品とも表現しない。
当サイトでの使い方
観察中：法律の専門的判断を補える。まず問題セット、ツール条件、成績のバッチを確認する。現在はソースを登録するのみで、自動収集も採点もしない。
評価の限界とデータの出典
モデル審査員による評価で、審査員の好みが入る。同じ機関の法律と金融の専門評価は影響範囲を共有すべきで、2 つの独立した証拠としては扱えない。Word、Excel、スライドの作成能力を直接測るものではない。
データライセンス：公式の問題セットと評価コードは公開されている。そのライセンスはリアルタイムのランキング成績には自動で及ばず、最新成績の安定したエクスポートと再表示範囲は確認待ち。
成績は Scale AI が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。