Artificial Analysis v5とベンチマーカーのジレンマ

InterconnectsのNathan Lambertが、Artificial Analysis v5を題材に言語モデルの独立評価の難しさを論じる。スコアを押し上げるにはコストがかかるが、フロンティアで意味のあるベンチマークを作る確立された方法論は、それに比べて乏しいと指摘する。