NVIDIA、Nemotron 3.5 TranscribeとGranary v2を公開、プロンプトで制御できる多言語文字起こしモデル

Nemotron 3.5 Transcribeは40言語を文字起こしし、そのうち31言語で英語との翻訳に対応する。話者識別は13言語で、最大8人まで、最長1時間の録音を扱える。自然言語の指示で出力を切り替えられ、話者ラベル付きの文字起こしや英語への翻訳、会議内容への質問ができる。音声Q&Aは英語で学習されている。リアルタイムのストリーミングではなく、録音音声向けである。

評価では、Hugging Face Open ASR Leaderboardの英語部門で平均WER 5.33%、7言語の多言語部門で4.62%、長尺部門で10.98%を示した。Artificial AnalysisのAA-WERではオープンウェイト中で首位タイの2.8%で、全30Bパラメータのうち推論時に有効なのは約4Bである。話者識別では、David AIの21言語のdiarizationでDER 18.26%と最小、VoiceArenaの14システム比較でもcpWER 32.4%で1位とされている。

単一のNVIDIA GPUで動作し、Jetson AGX ThorやDGX SparkからBlackwellのデータセンター向けGPUまで対応する。RTX PRO 6000 Blackwell Server EditionとNVFP4の条件では、100時間の音声を3分未満で処理した。vLLMでサーブでき、NeMo-Speech.cppでローカル実行も可能で、Baseten、DeepInfra、Simplismartのホスト型エンドポイントも使える。

Granary v2は、NeMo Curatorで構築したデータ整備パイプラインと公開マニフェストである。マニフェストは48言語、16のソースコーパス、463,062時間を対象とし、Granary v1の25言語から拡大した。同じ発話について、正規化済みの逐語形と、逆テキスト正規化の2形式を用意し、キャプションや翻訳、文脈ASR用の語彙なども生成する。音源は各コーパスのライセンスに従って別途取得する必要がある。

医療分野の事例では、Eka Careのインド医療音声ベンチマークを使った。プロンプト改善でWERは30.8%から23.8%に下がり、ファインチューニングで11.8%になった。話者で分けた保持データでは、最良プロンプトの22.44%から12.17%へ45.8%削減した。合成音声約153時間などを使い、1基のNVIDIA GB300で約14 GPU時間で完了した。LibriSpeech test-cleanのWERは1.54%から1.69%へ小幅に上昇し、ブランド名の薬剤では医療特化モデルが優位とされる。