NVIDIAとAI4Bharat、インド22言語・約2.8兆トークンの事前学習データと生成パイプラインを公開予定

コーパスはネイティブ文字データが2,601.0Bトークン、ローマ字化データが224.6Bトークンで、Gemma-4トークナイザーで数えている。22言語のうち12言語（Bengali、Hindi、Tamilなど）はネイティブ文字とローマ字の両方、残る10言語（Assamese、Sanskritなど）はネイティブ文字のみで、合計34の言語・文字構成になる。元は15のNemotron-CC-v2サブセットの英語文書で、数学、コード、質問応答なども含む。各レコードは元文書のIDを保持し、出力から原文書をたどれる。

12言語のワークフローでは、NeMo Data DesignerとGemma-4-31B-itで文書全体を翻訳し、MQMに着想を得た基準で原文と照らして評価する。100点中75点以上のみを残し、低スコアは評価のフィードバックで修復して再評価する。この修復で438.4Bトークンが回収された。ローマ字データは採用済みのネイティブ文字訳から変換しており、英語から直接生成するより、幻覚的な付加や英語の残りが少なかったと述べている。残る10言語はBodhan AIのIndic Translateで翻訳し、フィードバックによる書き直しは行わない。

Nemotron 3.5 Super VLでは、Indic継続事前学習の段階に100Bトークンの予算を置き、10%の10Bトークンを合成データと自然なIndicテキストの混合に充てた。この前後比較で、MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy、Indic GSM8Kの5指標がいずれも4.98〜9.82ポイント上昇した。ただし合成コーパス単独の寄与を切り分けた比較ではない。公開モデルの比較では、NVIDIA Nemotron 3 Superに対し6つのタスク指標のうち5つで上回り、IFEval 1.5は2.04ポイント低下した。

利用面では、Hugging Face Datasetsのストリーミングで一部を確認でき、`hi-Deva-IN`のように言語・文字・地域で構成を指定する。翻訳と評価のプロンプト、書き直し、文書の分割、文字変換を備えたNemotron Bharat翻訳プラグインも公開されている。制約として、品質評価は主に自動で人手確認の範囲は言語ごとに異なり、12言語では翻訳モデルが評価者も兼ねる。10言語側はネイティブ話者による検証がさらに必要とされ、翻訳データは現地の知識や文化を含む自然なテキストの代わりにならない。