MBZUAI lanza K2 Horizon con seis modelos abiertos hasta 375B

CONFIRMADO: el Institute of Foundation Models (IFM) de la MBZUAI (Universidad Mohamed bin Zayed de Inteligencia Artificial, en Abu Dabi) ha lanzado K2 Horizon, una familia de seis modelos de lenguaje abiertos que va desde un modelo denso de 0,9 mil millones de parámetros hasta un modelo mixture-of-experts (MoE) de 375 mil millones de parámetros. El anuncio se publicó en noviembre de 2026, con un informe técnico de 134 páginas en arXiv el 16 de noviembre y cobertura el día 17.

El lanzamiento destaca no solo por su tamaño: junto con los pesos, el IFM publicó los checkpoints intermedios de entrenamiento, los datos de preentrenamiento, los registros de las ejecuciones y el código de entrenamiento y evaluación, siguiendo la definición de ciencia abierta de LLM360. Son 380 checkpoints, 13 TB de datos de preentrenamiento, pipelines que generaron unos 10 billones de tokens sintéticos, registros de 58 ejecuciones de entrenamiento, 17 repositorios de código y el índice Search360, con 994 millones de documentos web usados para fundamentar la generación de datos sintéticos.

Seis modelos, del bolsillo al centro de datos

La flota tiene cuatro modelos densos — 0,9B, 3,7B, 7B y 32B — y dos mixture-of-experts: el 36B-A4B, con unos 4,6 mil millones de parámetros activos por token, y el modelo insignia 375B-A23B, con 375 mil millones de parámetros en total y unos 23 mil millones activos por token. Cuatro de los seis modelos (3,7B, 7B, 32B y 36B-A4B) comparten un mismo corpus de preentrenamiento de 22 billones de tokens y la misma receta de entrenamiento, lo que permite comparar escala y dispersión de forma controlada. El modelo de 375B se entrenó por separado, con 15,1 billones de tokens en dos fases, en GPU NVIDIA H200, y llega en cuantizaciones FP8 y NVFP4; los modelos más pequeños también salen en GGUF y MLX, para inferencia local.

Benchmarks: liderazgo en uso de herramientas, con matices

Según las cifras publicadas por los propios autores — aún sin replicación independiente —, el 375B-A23B obtuvo 65,3 en Toolathlon-Verified, una prueba de uso de herramientas en tareas de varios pasos, por delante de GLM-5.2, MiniMax M3, Nemotron 3 Ultra e Inkling, y por encima de GPT-5.6 Terra. El modelo también logró 48,4 en SWE-Atlas-QnA, de código a nivel de repositorio. Los propios autores reconocen la principal brecha: el razonamiento científico de nivel experto, en las pruebas HLE y CritPt. Y hay un ajuste a registrar: la puntuación en Terminal-Bench se revisó de 70,2 a 66,9 tras una auditoría.

MoVA, softplus gating y decodificación Uno

En el lado de la arquitectura, el artículo presenta Mixture-of-Value Attention (MoVA), que aplica el enrutamiento de mixture-of-experts a las proyecciones de valor de la atención, combinado con softplus attention gating. Con ambos recursos, el 36B-A4B casi iguala al modelo denso de 32B entrenado con los mismos datos, usando alrededor de una séptima parte de los parámetros activos. El equipo también lanzó Uno, un adaptador de decodificación por difusión que acelera la generación hasta 2,2 veces sin un modelo de borrador separado, disponible para los modelos de 0,9B y 7B.

DECLARACIÓN: “La ciencia funciona cuando los demás pueden ver los datos, seguir el método, reproducir el resultado y mejorarlo”, dijo Eric Xing, fundador del IFM, al presentar el lanzamiento. Los artefactos están publicados en la página oficial del proyecto y en la colección K2 Horizon de Hugging Face, con licencia Apache 2.0 para modelos y conjuntos de datos.

Un matiz importante: los dos modelos más grandes, de 375B y 36B, llegan por ahora solo con los pesos; los datos completos de entrenamiento y el código de esas dos versiones fueron prometidos, pero aún no se han publicado. Quien vaya a usar los modelos en producción debe revisar la licencia y los requisitos de hardware de cada artefacto antes de implantarlo.

También de MBZUAI: el 11 de noviembre, Geekiki informó sobre PAN 2, un modelo de mundo abierto de 29B que simula acciones físicas en vídeo.

Crédito de la imagen: logotipo de la MBZUAI (Universidad Mohamed bin Zayed de Inteligencia Artificial), vía Wikimedia Commons (CC BY-SA 4.0).

Fuentes

Este texto fue producido con ayuda de inteligencia artificial, cruzando publicaciones públicas y fuentes de internet. Consulte las fuentes originales para confirmar la información.

Por Muse