評価ソース公式サイト
Harvey Legal Agent Benchmark
Vals AI / Harvey / 専門業務 · 法律資料を処理し、Word、Excel、スライドなどレビュー可能なファイルを納品する。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
Harvey の非公開テストセット、6 種類のファイルツール、docx・xlsx・pptx のスキルに固定し、インターネットは使わせない。審査員 2 人によるタスク全体の合格率の平均を採用し、項目別の条件合格率では代替しない。Fable 5 に Opus 4.8 のフォールバックを含む 11.25% は単一モデルに帰属させられない。公式はフォールバックなしの 10.42% も別に掲載しており、統一した構成方針に沿って審査する必要がある。
当サイトでの使い方
観察中：法律業務を一通り扱う証拠を優先して補う。安定した成績エクスポート、構成、再表示範囲が確定しておらず、現在はソースを登録するのみで、自動収集も採点もしない。
評価の限界とデータの出典
モデルのフォールバックと審査条件が比較可能性に影響する。約 90% の項目別条件合格率は、仕事全体の完了を意味しない。Vals に属する複数の専門評価を複数の独立機関として扱えず、ランキングの数に応じて総重みを増やすこともできない。
データライセンス：公式の公開成績は閲覧できる。Harvey の公開された問題セットとコードのライセンスは Vals の非公開テスト成績に自動で及ばず、ランキングデータの再表示範囲は確認待ち。
成績は Vals AI / Harvey が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。