NVIDIA、オープンな音声認識モデルNemotron 3.5 Transcribeを公開、文字起こし・翻訳・話者識別を統合

モデルは総パラメータ30B、1ステップあたりの稼働は約4Bで、単一のNVIDIA GPUで動作する。録音は最長1時間、話者は最大8人まで扱える。テキスト指示で出力を切り替えられ、同じ会議録音から話者ラベル付き文字起こし、英語翻訳、決定事項の要約を得られる。薬剤名などの専門用語をヒントとして渡すこともでき、録音に実際に現れる場合のみ使われる設計である。RTX PRO 6000 Blackwell Server EditionのNVFP4精度で、100時間の音声を3分未満で処理するとNVIDIAは説明している。

ベンチマークでは、Artificial Analysisの比較で2.81%を記録し、最良のオープンモデルであるMistralのVoxtral Small（2.77%）に迫る。ただしアクティブパラメータは約6分の1である。話者識別で差が最も大きく、VoiceArenaでは14システム中1位で、脱落単語率は8.32%（中央値は約31%）だった。David AIの21言語ベンチマークでも最低の誤り率で、NVIDIA自身の専用モデルをわずかに上回った。

Granary v2は48言語・約844,000時間で、前版の25言語・約643,000時間から拡大した。各録音は、フィラーや数字の綴りを残す逐語版と、整えた版など複数の書き起こしスタイルで提供される。構築ツールも共有される。インドの医師や医学生の録音での試験では、より精密なプロンプトで誤り率が30.8%から23.8%に下がり、ファインチューニング後は11.8%になった。単一のGB300で約14 GPU時間を要した。一方、一般的な英語音声では誤り率がわずかに上昇し、医療モデルはブランド薬名で優位を保った。

制約もある。機能は言語ごとに異なり、音声質問応答は英語で学習されている。録音音声専用でリアルタイム処理には対応しない。NVIDIAは固有名詞、話者の切り替わり、回答の抽出検査を勧めている。モデルとデータセットはHugging Faceで公開され、デモも用意されている。9月公開の話者識別専用モデルNemotron 3 Diarizationは文字起こしに別モデルが必要だったが、今回その両方を統合した。