Open ASR Leaderboard、Voice Arenaと組みHindiとインド英語のMonsoon評価セットを追加

追加されたのはインド英語とHindiの評価セットで、それぞれ公開スプリットと非公開スプリットがある。4つのスプリットは話者が重ならず、計4,888人、話者ごとに12の属性を持つ。収集は地理、年齢、性別、語彙、端末、音響環境、発話タイプ、話速、複数の正解表記という9軸の多様性を狙って設計された。音声は自分のスマートフォンで録音された自発的な二者会話から、単一話者の区間として切り出されている。

特徴は話者数の多さにある。上位10話者の合計時間比率は2.8%から6.8%にとどまり、半数以上の話者は1区間しか寄与していない。端末は315から582機種に及び、単一機種が2.1%を超えるサブセットはない。インド英語の公開セットは428の地区をカバーし、1つの訛りに偏らない。参照書き起こしは、社内ASRによる下書きを母語話者の言語学者が5段階で修正と検証する方式で作られ、数字は単語で表記される。

地域別の例として、公開インド英語セットで8モデルのWERは4.81から4.99に収まり、全体では区別できない。しかし地域ゾーン別に見ると、whisper-large-v3-turboの変動幅は0.46ポイントなのに対し、Voxtral-Mini-3B-2507は1.68で、Centralの4.38とEastの6.06に開いた。最も難しいゾーンもモデルごとに異なる。

Hindiは綴りの揺れが大きいため、受理される表記を並べたラティスを参照に付け、AI4Bharat提案のOIWERで採点する。単一参照で採点すると全システムの誤り率が上がり、順位が入れ替わる組もあった。実装はvoi-oiwerとして公開されている。

評価を受けるには、Open ASR LeaderboardのGitHubでプルリクエストを出し、公開セットの結果を報告する。非公開セットはHugging Faceチームが評価する。インド英語はVoice Arena Monsoonとして既定の列に入り、平均WERに反映される。Hindiは多言語タブに表示され、全選択言語に対応するモデルだけが順位付けされる。