Hugging Face政策責任者、埋め込み型AI評価者は容易な解決策にならないと指摘

Hugging FaceのIrene Solaiman首席ポリシー責任者は、AIラボが導入を進める第三者による埋め込み型評価者は容易な解決策にはならないと指摘した。ベンチマークの手法はまだ成熟途上で、結果を再現できるかどうかはモデルへのアクセス、特にオープンウェイトが鍵になるという。評価対象もモデル単体からハーネスやエージェントを含むシステム全体へ広がりつつあるが、エージェント評価は難しく高コストで、ハーネス向けの評価は少ない。

TechCrunch AIより

推移を表示するための継続的な観測データがまだ足りません。