評価ソース公式サイト
Hyper-τ-bench
Sierra / コーディング · 業務資料をもとに、実際に機能するカスタマーサービスのエージェントを構築し、テストする。
AIサイシン での扱い観察中
配分採点対象外
元データの日時未確認
最終同期収集前
何を、どう測るか
エージェントの開発とデバッグを測るもので、カスタマーサービスを直接行う τ³-Banking とは分けて扱う。開発ツール、実行時間、検収環境を固定し、システムをまたいで最高成績を選ぶことはできない。
当サイトでの使い方
観察中：コーディングと業務システム開発を補える。まず元の成績、ライセンス、固定した実行条件の審査を終える。新たに公開されたからといって自動で採点はしない。
評価の限界とデータの出典
観察中：コーディングと業務システム開発を補える。まず元の成績、ライセンス、固定した実行条件の審査を終える。新たに公開されたからといって自動で採点はしない。
データライセンス：ランキングデータの利用範囲は確認待ち
成績は Sierra が公表したもの。元のスコアと AIサイシン のコンセンサス指数は尺度が異なり、そのまま比較・合算はできない。