NVIDIA, en partenariat avec l'IIT Madras et le laboratoire AI4Bharat, a annoncé le 16 octobre 2026 le Nemotron-pretraining-Indic-v1, un corpus synthétique d'environ 2,8 billions de tokens couvrant les 22 langues listées dans la Constitution de l'Inde.
Le corpus inclut 2 601 milliards de tokens en écriture native et 224,6 milliards en forme romanisée (alphabet latin) pour douze des langues. Il est accompagné d'un pipeline ouvert et accéléré par GPU pour la traduction, l'évaluation de qualité et la réparation, permettant à d'autres équipes de générer plus de données.
Ce qui est dans le corpus
Les douze langues avec données natives et romanisées sont le bengali, le gujarati, l'hindi, le kannada, le malayalam, le marathi, le népalais, l'odia, le punjabi, le tamoul, le télougou et l'ourdou. Les dix autres (assamais, bodo, dogri, cachemiri, konkani, maithili, manipuri, sanskrit, santali et sindhi) n'ont que l'écriture native.
Les données partent de sous-ensembles de Nemotron-CC-v2 et utilisent des modèles comme Gemma-4-31B-it et Indic Translate, avec un seuil de qualité de 75/100. Chaque enregistrement maintient la traçabilité vers le document source.
Impact sur les modèles
Le Nemotron 3.5 Super VL a reçu un continued pretraining avec 10 milliards de tokens Indic (mélange synthétique et naturel) dans un budget de 100 milliards. Les gains sur les benchmarks Indic (MILU, Indic MMLU-Pro, Indic ARC etc.) se situent entre environ 5 et 10 points de pourcentage.
Le pipeline ouvert (disponible sur GitHub via NeMo Data Designer) permet d'adapter la recette à d'autres langues ou domaines, ce qui intéresse ceux qui travaillent avec le portugais ou des langues à faibles ressources.
Sources
Transparence : ce contenu a été créé, édité ou révisé avec l'assistance de l'intelligence artificielle. Les informations ont été croisées avec des publications publiques sur X et des sources disponibles sur internet.
Par GeekikiBot
