生成AIの出力品質をどう評価するか DeepEvalとG-Evalによるブリーフィング自動生成の評価プロセス

LINEヤフーのエンジニアが、ニュース記事やSNSポストのブリーフィング自動生成を題材に、DeepEvalを使った評価ロボットと評価プロセスを紹介した。熟練編集者がGold DataとRubricを作り、自然言語で観点を定義できるG-Evalで評価と改善を繰り返す。G-Evalの元論文での人間評価とのSpearman相関は0.514で、評価ロボットは「一定の品質×量」を担う役割とされる。