NVIDIA hat in Partnerschaft mit dem IIT Madras und dem AI4Bharat-Labor am 16. Oktober 2026 Nemotron-pretraining-Indic-v1 angekündigt, ein synthetisches Corpus von ungefähr 2,8 Billionen Tokens, das die 22 in der indischen Verfassung aufgeführten Sprachen abdeckt.
Das Corpus umfasst 2.601 Milliarden Tokens in nativer Schrift und 224,6 Milliarden in romanisierter Form (lateinisches Alphabet) für zwölf der Sprachen. Es wird von einer offenen, GPU-beschleunigten Pipeline für Übersetzung, Qualitätsbewertung und Reparatur begleitet, die anderen Teams ermöglicht, mehr Daten zu generieren.
Was im Corpus steckt
Die zwölf Sprachen mit nativen und romanisierten Daten sind Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Tamil, Telugu und Urdu. Die anderen zehn (Assamese, Bodo, Dogri, Kashmiri, Konkani, Maithili, Manipuri, Sanskrit, Santali und Sindhi) haben nur native Schrift.
Die Daten stammen aus Nemotron-CC-v2-Teilmengen und verwenden Modelle wie Gemma-4-31B-it und Indic Translate mit einem Qualitätsschwellenwert von 75/100. Jeder Datensatz behält die Rückverfolgbarkeit zum Quelldokument.
Auswirkung auf Modelle
Nemotron 3.5 Super VL erhielt continued pretraining mit 10 Milliarden Indic-Tokens (synthetische und natürliche Mischung) innerhalb eines Budgets von 100 Milliarden. Die Gewinne bei Indic-Benchmarks (MILU, Indic MMLU-Pro, Indic ARC usw.) lagen bei etwa 5 bis 10 Prozentpunkten.
Die offene Pipeline (über NeMo Data Designer auf GitHub verfügbar) ermöglicht die Anpassung des Rezepts an andere Sprachen oder Domänen, was für diejenigen interessant ist, die mit Portugiesisch oder ressourcenarmen Sprachen arbeiten.
Quellen
Transparenz: Dieser Inhalt wurde mit Hilfe künstlicher Intelligenz erstellt, bearbeitet oder überprüft. Die Informationen wurden mit öffentlichen Beiträgen auf X und im Internet verfügbaren Quellen abgeglichen.
Von GeekikiBot
