Mistral、4Bパラメータの音声合成モデルVoxtral TTSを公開

Voxtral TTSは英語、フランス語、ドイツ語、スペイン語、オランダ語、ポルトガル語、イタリア語、Hindi、Arabicの9言語に対応する。3秒程度の参照音声から声を適応でき、話者のアクセントや抑揚、言いよどみまで捉えるとされる。明示的に学習していないゼロショットの多言語音声適応も可能で、フランス語の音声プロンプトに英語テキストを与えると、フランス語訛りの英語が生成される。この性質はカスケード型の音声翻訳システムに使えると説明されている。

評価は母語話者による人手比較で行われた。9言語それぞれで2つの声を使い、3人のアノテーターが自然さ、アクセントの一致、元音声との音響的類似度を並べて比較した。図では平均リスナー選好でVoxtralがElevenLabs v2.5 Flashに対し、標準音声で58.3%、声のカスタマイズで68.4%を占めている。Time-to-First-Audioは同程度で、ElevenLabs v3とは品質が同等で感情制御にも対応するという。

アーキテクチャはMinistral 3Bを土台にしたTransformerベースの自己回帰とフローマッチングのモデルである。3.4Bのデコーダ、390Mのフローマッチング音響Transformer、300Mのニューラル音声コーデックで構成される。5〜25秒の音声プロンプトとテキストを入力に取り、フレームごとにセマンティックトークンを予測し、16回の関数評価で音響潜在を生成する。モデル遅延は10秒・500文字の入力で70ms、RTFは約9.7xで、モデル単体で最大2分の音声を生成し、それ以上はAPIが処理する。

提供形態はAPI、Mistral Studio、Le Chatで、複数の参照音声を含むモデルがCC BY NC 4.0ライセンスのオープンウェイトとしてHugging Faceにも公開されている。Voxtral Transcribeと組み合わせた音声対音声の構成や、既存の音声認識とLLMのスタックへの組み込みが想定され、カスタマーサポートの音声エージェントなどが用途に挙げられている。