SB Intuitions、日本の文化・風習に特化した質問応答ベンチマーク「JamC-QA」を公開

SB Intuitionsは、日本固有の知識を問う多肢選択式の質問応答ベンチマーク「JamC-QA」を構築し、Hugging Faceで公開した。全2,309問で、文化、風習、風土、地理、日本史、行政、法律、医療の8カテゴリからなる。既存のJCommonsenseQAやJMMLUに比べ難度が高く、利用申請なしで誰でも使える。