評価ソース公式サイト
τ³-Banking
Sierra / 専門業務 · 統一されたツール環境で銀行業務を処理し、ルールの理解、顧客とのコミュニケーション、タスクの完了を検証する。
AIサイシン での扱い結果待ち
配分2%
元データの日時未確認
最終同期比較できる成績を待っている
何を、どう測るか
公式の standard 銀行業務、v1.0.1、alltools、GPT-5.2 のユーザーシミュレーターに限って比較し、pass@1 を採用する。異なるツール、プロンプト、シミュレーター、音声モード、カスタムシステムは混ぜない。
当サイトでの使い方
正式に採点する。ツールと業務の予算の 2% を占め、Mercor APEX と共有する 2 つの環境で合計 4% に調整する。金融業務は法律や EC などすべての業界をカバーしたことを意味しない。
評価の限界とデータの出典
成績は固定された銀行タスクのシステムに属し、模擬ユーザーとツールのプロトコルに依存する。あらゆる職業に通じる汎用的な正答率ではない。
データライセンス：MIT · Sierra Research tau2-bench 公式リポジトリ。出典表示を残す。
成績は Sierra が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。