AIに面接を受けさせる、ベンチマークでは測れないモデルの能力

筆者は、公開ベンチマークのスコアだけでは用途に合ったAIモデルは選べないとし、利用者自身がモデルを試して評価すべきだと主張する。文章課題の例では、Claude 4.5 Sonnetが優れた文章モデルとして知られる一方、Gemini 2.5 Proは使用語数を正確に管理できなかったと報告している。ベンチマークには、公開されたテストが学習データに混入する問題や、スコアの差の意味が較正されていない問題があるとも指摘している。