SB Intuitions、日本語エージェントベンチマーク「J-tau telecom」を公開

SB Intuitionsは、通信事業のカスタマーサポートを題材にしたエージェントベンチマーク「tau-bench telecom」の日本語版「J-tau telecom」を公開した。評価結果では、多くのモデルで英語版より日本語版のスコアが低く、評価言語によってエージェント能力の測定結果が変わることが示された。J-tau telecomの評価では、GLM-5.2が96.5%、gpt-5.6 Solが93.6%を記録し、ライセンスはModified MITで公開されている。