評価ソース公式サイト
OfficeQA Pro
Databricks / 専門業務 · 大量の実際の財務文書から検索、計算し、質問に答える。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
Pro は 133 問に固定し、Full の 246 問、Pro V2 の 90 問とは分ける。エンドツーエンドの検索と、答えのあるページを直接与える条件は別物である。Claude Agent SDK、Codex SDK、Antigravity CLI の成績はそれぞれの実行システムに属し、統一された基盤モデル評価として混ぜることはできない。測るのは文書の理解であり、業務文書の作成品質を表すものではない。
当サイトでの使い方
観察中：公式は更新を続けているが、現在は主に異なる製品の実行システムを比べており、元の集計プロトコルは確認待ち。資料理解の参考として残し、異なるツールシステムの成績を基盤モデルに直接帰属させない。
評価の限界とデータの出典
コードと問題セットのライセンスは外部の成績すべてに自動で及ぶわけではない。新旧の問題セット、エンドツーエンドと答えのページを直接与える条件は混ぜられず、現在は成績を自動収集していない。
データライセンス：コードは Apache 2.0。問題データは CC BY-SA 4.0 で、現在はアクセス申請が必要な Hugging Face データセットに移っている。
成績は Databricks が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。