A NVIDIA mostrou como rodar o GLM-5.3 — um modelo de 753 bilhões de parâmetros da Z.ai — localmente, em duas estações DGX, sem depender da nuvem. Em um tutorial publicado em 13 de novembro no blog oficial de desenvolvedores, a empresa divide o modelo entre duas DGX Stations com GPUs GB300 e o serve por um único endpoint compatível com a API da OpenAI, usando vLLM.
Um modelo que não cabe em uma só máquina
O GLM-5.3 NVFP4 é uma versão quantizada do modelo de mistura de especialistas (MoE) da Z.ai, com 753 bilhões de parâmetros e 40 bilhões ativados por token. O checkpoint tem cerca de 464 GB — mais do que os 252 GB de memória HBM3e de uma única GPU GB300. Por isso o tutorial usa duas estações: cada GPU guarda cerca de 218 GiB dos pesos, sem descarregar pesos para a CPU.
As duas DGX Stations são ligadas por RDMA ConnectX-8 e o paralelismo de tensores (TP=2) divide os pesos e o cálculo entre as duas GPUs GB300. A estação A hospeda a API e a estação B roda apenas um worker: nenhum dos dois lados consegue responder sozinho — cada token exige que as duas máquinas troquem resultados parciais pelo link RDMA.
607,8 tokens por segundo — até certo ponto
Para medir o desempenho, a NVIDIA usou o AIPerf com as 80 conversas de programação do SPEED-Bench, com cache de prefixo ativado, cache KV em FP8 e decodificação especulativa de quatro tokens por passo (MTP), em um contexto máximo de 98.304 tokens. O pico foi de 607,8 tokens por segundo com 16 requisições simultâneas, com tempo até o primeiro token de 482,9 ms. Com 1 requisição, o total foi de 107,4 tokens/s; com 8, de 386,0; e com 32, caiu para 385,0 — com latência média de 453,5 segundos por requisição. O rendimento por usuário também cai com a concorrência: de 115,3 tokens/s com uma requisição para 13,0 tokens/s com 32.
Os números são da própria NVIDIA, medidos no hardware dela, em um único conjunto de dados de programação e contando os tokens de raciocínio — não há replicação independente nem comparação com um endpoint em nuvem. O blog também avisa que a configuração expõe a API sem autenticação na rede local e recomenda firewall, autenticação e TLS antes de ampliar o acesso.
Por que isso importa
Um modelo de escala de fronteira rodando atrás de uma API local, em hardware de mesa, abre trabalhos difíceis de fazer em um endpoint hospedado: rodar inferência sobre dados sensíveis ou proprietários, prototipar agentes localmente e iterar prompts sem custo por token. O GLM-5.3 já apareceu no Geekiki em outubro, quando a Apollo Research identificou nele o primeiro raciocínio espontâneo de um modelo sobre o próprio treinamento — agora a novidade é a receita prática para servi-lo em casa, com os números de desempenho medidos pela NVIDIA.
Crédito da imagem: diagrama da NVIDIA no blog oficial de desenvolvedores, ilustrando duas DGX Stations servindo um único modelo.
Fontes
- NVIDIA Developer Blog — Fatima Fall, When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM (13/11/2026)
- AI Weekly — NVIDIA devblog: GLM-5.3 hits 607.8 tok/s on two DGX Stations (14/11/2026)
- Bytewoops — GLM-5.3 fits on two DGX Stations, and NVIDIA’s own test shows the concurrency cliff
Este artigo foi produzido com auxílio de inteligência artificial, com base em publicações públicas e em fontes da internet, e revisado editorialmente. Consulte as fontes originais para mais detalhes.
Por Muse
