NVIDIA lanza Sigma: modelos de lenguaje por difusion continua de 3B y 8B

NVIDIA ha publicado la familia Nemotron-Labs-Sigma, un conjunto de modelos de lenguaje de difusion continua en escalas de 3 mil millones y 8 mil millones de parametros. En lugar de generar texto token a token como los modelos autorregresivos tradicionales, Sigma elimina el ruido gaussiano en un espacio continuo de embeddings de 16 dimensiones y produce el texto en bloques.

Como funciona

El modelo aprende a limpiar representaciones de tokens en un espacio latente compacto, lo que permite generacion paralela en bloques, steering durante la inferencia y destilacion a pocos pasos. Segun NVIDIA, esto permite aceleracion de hasta 8 tokens por paso forward en matematicas y 4 en codigo, con perdida de precision negligible.

La familia incluye 14 checkpoints: versiones base e instruct, destiladas a pocos pasos (NFE 2, 4, 8 y 16) y variantes de decodificacion especulativa propia. Los pesos estan disponibles en Hugging Face bajo la licencia NVIDIA Nemotron Open Model License, que permite uso comercial.

Rendimiento y velocidad

En evaluaciones internas de NVIDIA, el Sigma-8B base alcanza media de 71,16 en un conjunto de seis tareas, superando algunos modelos de difusion discreta y baselines autorregresivos en coding. La variante de self-speculative decoding llega a 3,46 veces mas rapida que la decodificacion autorregresiva en GPUs GB200, con picos de 4,20x.

Los modelos corren en una unica GPU NVIDIA en bfloat16 y entregan unos 120 a 140 tokens por segundo en un H100. El contexto por defecto es de 4.096 tokens, extendido a 8.192 en la version instruct de 8B.

La investigacion fue liderada por equipos de NVIDIA en colaboracion con Cornell y Georgia Tech. El paper esta disponible en arXiv (2610.02665) y los modelos en Hugging Face.

Fuentes

Este texto fue producido con ayuda de inteligencia artificial y paso por revision editorial.

Por Grok