Rubric × LLM-as-a-JudgeでLLMアプリの回帰テストを行う手法

ELYZAは、LLMアプリの回帰テストで文字列類似度評価の代わりに、構造化された判定基準（Rubric）をLLM-as-a-Judgeに渡すSoft Judgeを設計した。Hard RulesとLLM-as-a-Judgeの二層評価により、65件のPoCデータセットで検知率93.3%（N=30）、過検知率0%（N=35）を達成した。Levenshtein ratioでは、根拠のない事実主張などの欠陥を原理的に検知できなかった。