LLMによる機械翻訳品質評価、人間とモデルの一致度は多くの設定で信頼性が低い

機械翻訳（MT）の品質評価において、LLMと人間アノテーターの一致度を、MQMとESAの2つの評価方式で検証した研究である。70言語ペアの長文テストセットとWMT23・WMT25データを用いた結果、LLMの一致度が人間同士を上回る場合もあったが、多くの設定では両者とも信頼性が不十分だった。人間は細粒度のMQMや低リソース言語ペアで、LLMは軽微な誤りやエラースパンアノテーションで課題を抱えることも示された。