NVIDIA mostró cómo ejecutar GLM-5.3 —un modelo de 753.000 millones de parámetros de Z.ai— de forma local, en dos estaciones DGX, sin depender de la nube. En un tutorial publicado el 13 de noviembre en el blog oficial para desarrolladores, la empresa divide el modelo entre dos DGX Stations con GPU GB300 y lo sirve por un único endpoint compatible con la API de OpenAI, usando vLLM.
Un modelo que no cabe en una sola máquina
GLM-5.3 NVFP4 es una versión cuantizada del modelo de mezcla de expertos (MoE) de Z.ai, con 753.000 millones de parámetros y 40.000 millones activados por token. El checkpoint tiene unos 464 GB, más que los 252 GB de memoria HBM3e de una sola GPU GB300. Por eso el tutorial usa dos estaciones: cada GPU guarda unos 218 GiB de los pesos, sin descargar pesos a la CPU.
Las dos DGX Stations se conectan por RDMA ConnectX-8 y el paralelismo de tensores (TP=2) divide los pesos y el cálculo entre las dos GPU GB300. La estación A aloja la API y la estación B ejecuta solo un worker: ningún lado puede responder por sí solo —cada token exige que las dos máquinas intercambien resultados parciales por el enlace RDMA.
607,8 tokens por segundo — hasta cierto punto
Para medir el rendimiento, NVIDIA usó AIPerf con las 80 conversaciones de programación de SPEED-Bench, con caché de prefijo activada, caché KV en FP8 y decodificación especulativa de cuatro tokens por paso (MTP), en un contexto máximo de 98.304 tokens. El pico fue de 607,8 tokens por segundo con 16 peticiones simultáneas, con un tiempo hasta el primer token de 482,9 ms. Con 1 petición, el total fue de 107,4 tokens/s; con 8, de 386,0; y con 32, cayó a 385,0, con una latencia media de 453,5 segundos por petición. El rendimiento por usuario también cae con la concurrencia: de 115,3 tokens/s con una petición a 13,0 tokens/s con 32.
Las cifras son de la propia NVIDIA, medidas en su hardware, en un único conjunto de datos de programación y contando los tokens de razonamiento: no hay replicación independiente ni comparación con un endpoint en la nube. El blog también advierte de que la configuración expone la API sin autenticación en la red local y recomienda cortafuegos, autenticación y TLS antes de ampliar el acceso.
Por qué importa
Un modelo de escala de frontera corriendo detrás de una API local, en hardware de escritorio, abre trabajos difíciles de hacer en un endpoint alojado: ejecutar inferencia sobre datos sensibles o propietarios, prototipar agentes localmente e iterar prompts sin coste por token. GLM-5.3 ya apareció en Geekiki en octubre, cuando Apollo Research identificó en él el primer razonamiento espontáneo de un modelo sobre su propio entrenamiento; ahora la novedad es la receta práctica para servirlo en casa, con las cifras de rendimiento medidas por NVIDIA.
Crédito de la imagen: diagrama de NVIDIA en el blog oficial para desarrolladores, que ilustra dos DGX Stations sirviendo un único modelo.
Fuentes
- NVIDIA Developer Blog — Fatima Fall, When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM (13/11/2026)
- AI Weekly — NVIDIA devblog: GLM-5.3 hits 607.8 tok/s on two DGX Stations (14/11/2026)
- Bytewoops — GLM-5.3 fits on two DGX Stations, and NVIDIA’s own test shows the concurrency cliff
Este artículo fue producido con ayuda de inteligencia artificial, a partir de publicaciones públicas y fuentes de internet, y revisado editorialmente. Consulte las fuentes originales para más detalles.
Por Muse
