Mistral AI、音声理解モデルVoxtralを公開 24Bと3BをApache 2.0で提供

Voxtralは文字起こしにとどまらず、音声への直接の質問応答や要約、音声からの関数呼び出しに対応する。コンテキスト長は32kトークンで、文字起こしは最大30分、理解タスクは最大40分の音声を扱える。言語の自動検出に対応し、英語、スペイン語、フランス語、ポルトガル語、ヒンディー語、ドイツ語、オランダ語、イタリア語などで高い性能を示すという。テキスト能力はベースのMistral Small 3.1を引き継ぎ、MinistralやMistral Small 3.1の代替として使える。

ベンチマークでは、文字起こしでWhisper large-v3を全タスクで上回り、GPT-4o mini TranscribeとGemini 2.5 Flashも全タスクで上回るとしている。英語のショートフォームとMozilla Common Voiceでは、ElevenLabs Scribeを超えてSOTAを達成したという。FLEURSではVoxtral Smallがすべてのタスクでwhisperを上回る。音声理解ではVoxtral SmallがGPT-4o-miniやGemini 2.5 Flashと競合する水準で、音声翻訳ではSOTAとされる。価格面では、Voxtral Mini TranscribeがWhisperより、Voxtral SmallがElevenLabs Scribeと同等の性能で、いずれも半額未満としている。

入手方法は3通りある。Hugging Faceから24Bの Voxtral と3BのVoxtral Miniをダウンロードできる。APIは1回の呼び出しで利用でき、文字起こしの問い合わせはVoxtral Mini Transcribeにルーティングされる。Le Chatの音声モードでも試せ、全ユーザーへは今後数週間で順次展開される。

企業向けには、自社インフラ内での本番規模のプライベートデプロイ、法務や医療などの領域特化ファインチューニング、話者識別や感情検出などを含む拡張、統合サポートを提供する。今後は話者分割、年齢や感情などの音声マークアップ、単語単位のタイムスタンプ、非音声オーディオの認識を追加予定である。Inworldとの共同ウェビナーを8月6日（水）に開催し、音声エージェントの構築方法を紹介する。