NVIDIAとAI4Bharat、インド22言語・約2.8兆トークンの事前学習データと生成パイプラインを公開予定
NVIDIAとIIT MadrasのAI4Bharatは、インド憲法の22言語にわたる約2.8兆トークンのNemotron-pretraining-Indic-v1を、生成に使ったGPU高速化パイプラインとともに近日公開すると発表した。プロンプト、LLMワークフロー、品質チェックまで含む生成レシピを開放する。Nemotron 3.5 Super VLのIndic継続事前学習では、報告された5つのIndicベンチマークすべてでスコアが上がった。