Mistral AI、音声モデル群Voxtral 3と音声エージェントSDKを発表
Voxtral 3
Mistral AIは、音声認識と音声合成のモデル群Voxtral 3と、聞き取り、推論、ツール呼び出し、発話を1つのリアルタイムストリーミングで処理する音声エージェントSDKを発表した。文字起こしは50以上の言語、音声合成は35以上の言語と50以上の方言に対応する。Mistral APIで本日から利用でき、自社インフラへのデプロイも可能である。
音声認識のVoxtral Small Transcribe 3は多言語の文字起こしと話者分離（ダイアライゼーション）で最先端の結果を示し、Whisper、Scribe v2、Gemini 3.5 Transcribeを上回るとされる。キーフレーズを与えて精度を高めるコンテキストバイアスと、発話終了の検出にも対応する。Mini版は4Bパラメータで、価格は$0.0035/minである。Voxtral Realtime Transcribe 3は35以上の言語で500ms未満のレイテンシを実現する。
音声合成のVoxtral Mini TTS 3.0はバッチとリアルタイムの両方に対応し、会話の文脈に応じて感情、速度、強調を調整する。価格は100万文字あたり$13で、OpenAI TTS-1、Deepgram、ElevenLabs Flash、Gemini Flashより低コストと説明されている。30分の音声から話者の特徴を再現するPro Voice適応や、発音を指定するための音素ヒントも用意される。
音声エージェントSDKはLiveKit上に構築され、文字起こし、推論、音声生成を1つのストリーミングパイプラインとして動かす。通話中に本人確認、請求の確認、予約などを関数呼び出し、Web検索、自社システムの検索で実行できる。SIPやWebRTCに対応し、既存のコンタクトセンター用ソフトウェアとも接続できる。各段階が別モデルのため、LLMや声、言語を個別に差し替えられる。
Voxtral 3はEU、米国、グローバルの各エンドポイント経由のMistral APIで本日から利用でき、Studioのプレイグラウンドで試せる。Voxtral Mini Transcribe Realtime 3は$0.008/min、Voxtral Small Transcribe 3は$0.0040/minである。オンプレミスやプライベートクラウドで全スタックを動かす場合は、同社チームへの問い合わせが必要である。
文字起こし、音声合成、エージェントSDKを一体で提供し、料金とEUホスティングや自社運用の選択肢も示されており、導入検討の材料になる。
出典: Mistral AI News · mistral.ai