Real World VoiceEQ、音声AIの人間らしさを測るベンチマークを公開

Real World VoiceEQは、トランスクリプトでは失われる声のトーン、感情、話者の同一性、背景音といった音響情報を、音声システムが認識・生成・応答できるかを評価する。対象はASR、TTS、Speech-to-Speech（S2S）、音声理解の4領域で、40以上のプロプライエタリおよびオープンソースのモデルを15以上の評価軸、60以上の指標で比較する。評価データは100万件超の人間の評価から作られ、現行版にはTTSの評価78万5000件とSTSの評価4万8000件が含まれる。評価はすべて音声ネイティブの評価プラットフォームKairosで実施した。

主な知見の一つは、音声AIの進歩が専門化している点である。正確さ、感情理解、会話の知性、表現力、頑健性など強みはモデルごとに異なり、予約番号を正確に読み上げるモデルが感情豊かな音声を苦手とする例もある。TTSの評価では、8つの能力群すべてで上位5位に入った構成はなかった。また音声モデルは話すことに比べ聞くことが弱く、S2Sモデルは評価したカテゴリの中でばらつきが最も大きかった。音声が入力されても、口調、間、ためらい、強調、音量といった周辺言語情報を使わず、言葉だけに頼るシステムもあったという。

従来のベンチマークは実世界の性能を過大評価しがちだとも指摘する。アクセント、話者の重なり、感情、背景ノイズ、長い会話には依然として弱く、主要モデル間の差は従来指標が示すより大きい。一例として、ノイズ下の音声の単語誤り率は、音楽下の音声の約4倍だった。予備調査では、公開ベンチマークに最適化された可能性のあるモデルも見つかり、参照書き起こしの既知の誤りを再現したり、音声に存在しないマスク単語を復元したりした例があった。

音声言語モデル（SLM）による自動評価については、発音の正確さのように答えが明確な課題では訓練された人間の評価者との一致度が高かった。一方、声が役柄に合うか、同一性を保っているかといった主観的な判断では一致度が下がった。著者らは、音響的文脈や知覚、社会的解釈に依存する判断では、自動評価者は人間の聞き手の代わりにまだならないとしている。技術レポートと公開リーダーボードが用意され、Humeはカスタム評価の提供も案内している。