Google Research、AIベンチマークに必要な評価者数を検証

Google Researchは、AI評価で項目数と項目ごとの評価者数のどちらを優先すべきかを検証した。多数決との一致を見る場合は項目数を増やす方が有効で、意見の幅を捉える場合は評価者数を増やす必要がある。従来の1〜5人という基準は不十分な場合が多く、約1,000件の総アノテーション規模でも適切な配分により再現性の高い結果が得られるとしている。