Hugging Face、音声認識ベンチマークへの最適化を測る3つのテストを提案

評価対象は広く使われるオープンソースASRモデル11件で、VoxPopuli English と LibriSpeech（clean、other）を使った。1つ目の合意不一致プローブでは、音素誤り率（PER）の低いモデル群が全会一致で参照と食い違う箇所を抽出し、一部を人手の注釈で検証した。分析したVoxPopuliのテストクリップの40%に参照の誤りの可能性があり、参照単語全体の約3%に影響していた。ベンチマーク最適化の挙動を示すモデルは、誤った参照を18〜30%の割合で再現した。WERが最も低いモデルほど、この再現率も高かった。

具体例として、音声には「Thank you, Mr. President」とあるのに参照では「Thank you」が抜けているクリップがある。11モデル中6モデルが参照どおり「Thank you」を落とした。同じ内容を議会録音後に収集した新しい音声の合成音声で与えると、落とすのは1モデルだけになり、汎用のTTS音声では11モデルすべてが復元した。

2つ目のマスク実体検索では、音声内の数字を無音化しても、モデルが参照にある数字を出力するかを調べた。LibriSpeechでは、上位モデルの一部が約30〜40%の例でマスクされた数字を再現した。新しく収集したデータでは、複数のモデルで効果が弱まった。3つ目の表記切り替えプローブでは、「Mr.」と「Mister」のように発音が同じで綴りだけが違う表記を、データセットごとの参照に合わせて選ぶかを調べた。複数モデルが50%のランダム基準を超え、約90%に達するものもあった。

結論として、一部のモデルはデータセットに関連する音響的手がかりを検知し、書き起こしの方針を切り替えていると示唆される。モデルを選ぶ際は、完全なホールドアウト評価セットを使い、単一の公開ベンチマークのWERだけで判断しないことが重要だとしている。ベンチマーク開発者には、時間や話者などメタデータに基づく分割を求めている。関連スクリプトと未正規化の出力はGitHubで公開されている。