ELYZA、日本語の問い合わせ応答ベンチマーク「ELYZA Agent Tasks: Customer Service」を公開

本ベンチマークでは、評価対象モデルがオペレータ役を務め、顧客役のgpt-5.6-lunaからの電話に対応する。オペレータ役は業務手順書（SOP）のカタログから手順書を探し、業務ツールで業務データベースを照会・更新し、通話後に応対記録を提出する。16の指標を8つの評価カテゴリにまとめており、うち5指標1カテゴリは音声モデル専用である。厳密さが必要な項目はルールベース、案内が伝わったかなど意味の判定はLLM as a Judgeで行う。

シナリオは4ドメインに24件ずつで、96件ある。96件中11件には編集ロックのような意図的なエラーを入れ、さらに規定外の要求、思い違い、訂正、不安や不満の表出という4種類の揺さぶりを24件ずつに割り当てた。全シナリオを通常時と揺さぶり時の2回実行する。作成は半自動で、人が業務知識と大まかなシナリオ、最終確認を担い、詳細化やデータ生成の大部分をAIが担った。

評価したのはテキスト6モデルと音声3モデルである。タスク遂行はgemini-3.6-flashが0.781、gpt-5.6-solが0.750で、差は3シナリオ分だった。SOPではclaude-opus-5が0.573、応対記録ではgpt-5.6-solが0.750でclaude-opus-5は0.156と、カテゴリによって順位が入れ替わる。音声ではgpt-realtime-2.1の対話品質が0.733と高い一方、業務を進める力は低かった。

事例分析では、会話は筋が通っていても案件記録の登録ツールを呼ばずに最終状態が不一致になった例や、電話番号の聞き間違いで通話が上限に達した例が挙げられている。顧客役とLLMジャッジにgpt-5.6-lunaを使うこと、各シナリオを条件ごとに1回しか実行していないことなどの制約も明記されている。今後は半自動作成の仕組みを汎用化し、領域を広げる方針である。