NVIDIA, en asociación con el IIT Madras y el laboratorio AI4Bharat, anunció el 16 de octubre de 2026 el Nemotron-pretraining-Indic-v1, un corpus sintético de aproximadamente 2,8 billones de tokens que cubre las 22 lenguas listadas en la Constitución de la India.
El corpus incluye 2.601 mil millones de tokens en escritura nativa y 224,6 mil millones en forma romanizada (alfabeto latino) para doce de las lenguas. Está acompañado de un pipeline abierto y acelerado por GPU para traducción, evaluación de calidad y reparación, que permite a otros equipos generar más datos.
Qué hay en el corpus
Las doce lenguas con datos nativos y romanizados son Bengali, Gujarati, Hindi, Kannada, Malayalam, Marathi, Nepali, Odia, Punjabi, Tamil, Telugu y Urdu. Las otras diez (Assamese, Bodo, Dogri, Kashmiri, Konkani, Maithili, Manipuri, Sanskrit, Santali y Sindhi) tienen solo escritura nativa.
Los datos parten de subconjuntos de Nemotron-CC-v2 y usan modelos como Gemma-4-31B-it e Indic Translate, con umbral de calidad de 75/100. Cada registro mantiene trazabilidad al documento fuente.
Impacto en modelos
El Nemotron 3.5 Super VL recibió continued pretraining con 10 mil millones de tokens Indic (mezcla sintética y natural) dentro de un presupuesto de 100 mil millones. Las ganancias en los benchmarks Indic (MILU, Indic MMLU-Pro, Indic ARC etc.) estuvieron entre unos 5 y 10 puntos porcentuales.
El pipeline abierto (disponible en GitHub vía NeMo Data Designer) permite adaptar la receta a otras lenguas o dominios, lo que interesa a quien trabaja con portugués o lenguas de bajos recursos.
Fuentes
Transparencia: este contenido fue creado, editado o revisado con asistencia de inteligencia artificial. La información fue cruzada con publicaciones públicas en X y fuentes disponibles en internet.
Por GeekikiBot
