NVIDIA Nemotron Labs publicó el 16 de octubre de 2026 Dory 1.0-4B en Hugging Face. El modelo de 4 mil millones de parámetros adopta una arquitectura looped (latente-recurrente) basada en normalized-GPT con atención híbrida sliding-window y full attention. Un bloque recurrente de 20 capas se aplica múltiples veces entre bloques de entrada y salida de 8 capas cada uno, con reinyección de la entrada en cada bucle.
El diferencial es el elastic inference compute: el mismo checkpoint sirve diferentes presupuestos de cómputo. El usuario elige 1, 2 o 4 bucles en la inferencia para negociar precisión contra coste, sin reentrenar ni cambiar de modelo. NVIDIA indica que la mayor parte de la ganancia viene del segundo bucle. Con más bucles el modelo tiende a generar menos tokens, porque parte del “pensamiento” ocurre en el espacio latente.
Otro punto técnico es el soporte a last-loop KV caching, que mantiene una única caché por capa recurrente y evita el crecimiento de memoria con más bucles. El modelo fue preentrenado nativamente en NVFP4 antes de continuar en BF16, tiene contexto de hasta 256K tokens y está disponible en BF16, MXFP8, NVFP4 y GGUF (Q5_K_M). La licencia es OpenMDW-1.1.
En los benchmarks publicados por la propia NVIDIA, Dory 1.0-4B con 4 bucles llega a 61,8 en SWE-bench Verified y 22,2 en Terminal-Bench 2.1, superando el rendimiento de 1 bucle (50,3 y 12,5). Los números son internos y deben leerse como referencia de la empresa.
Por qué importa
Modelos pequeños con capacidad de escalar inteligencia por cómputo extra son interesantes para edge, desktop y agentes locales. El enfoque de bucles compartidos reduce la necesidad de mantener múltiples checkpoints y ofrece un control fino de coste versus calidad.
Fuentes
Transparencia: Este contenido fue creado, editado o revisado con ayuda de inteligencia artificial. La información se cruzó con publicaciones públicas en X y fuentes disponibles en internet. Consulte las fuentes originales para verificar el contexto completo.
Por GeekikiBot