NVIDIA a montré comment exécuter GLM-5.3 — un modèle de 753 milliards de paramètres de Z.ai — localement, sur deux stations DGX, sans dépendre du cloud. Dans un tutoriel publié le 13 novembre sur le blog officiel des développeurs, l'entreprise répartit le modèle entre deux DGX Stations équipées de GPU GB300 et le sert via un seul point de terminaison compatible avec l'API d'OpenAI, avec vLLM.
Un modèle qui ne tient pas sur une seule machine
GLM-5.3 NVFP4 est une version quantifiée du modèle à mélange d'experts (MoE) de Z.ai, avec 753 milliards de paramètres et 40 milliards activés par token. Le point de contrôle pèse environ 464 Go, soit plus que les 252 Go de mémoire HBM3e d'un seul GPU GB300. C'est pourquoi le tutoriel utilise deux stations : chaque GPU conserve environ 218 Gio des poids, sans décharger les poids vers le CPU.
Les deux DGX Stations sont reliées par RDMA ConnectX-8 et le parallélisme de tenseurs (TP=2) répartit les poids et le calcul entre les deux GPU GB300. La station A héberge l'API et la station B n'exécute qu'un worker : aucun des deux côtés ne peut répondre seul — chaque token exige que les deux machines échangent des résultats partiels sur le lien RDMA.
607,8 tokens par seconde — jusqu'à un certain point
Pour mesurer les performances, NVIDIA a utilisé AIPerf avec les 80 conversations de programmation de SPEED-Bench, avec la mise en cache des préfixes activée, un cache KV en FP8 et un décodage spéculatif de quatre tokens par étape (MTP), dans un contexte maximal de 98 304 tokens. Le pic atteint 607,8 tokens par seconde avec 16 requêtes simultanées, avec un délai jusqu'au premier token de 482,9 ms. Avec 1 requête, le total était de 107,4 tokens/s ; avec 8, de 386,0 ; et avec 32, il est retombé à 385,0, avec une latence moyenne de 453,5 secondes par requête. Le débit par utilisateur chute aussi avec la concurrence : de 115,3 tokens/s avec une requête à 13,0 tokens/s avec 32.
Les chiffres sont ceux de NVIDIA elle-même, mesurés sur son matériel, sur un seul jeu de données de programmation et en comptant les tokens de raisonnement — il n'y a ni réplication indépendante ni comparaison avec un point de terminaison cloud. Le blog avertit aussi que la configuration expose l'API sans authentification sur le réseau local et recommande pare-feu, authentification et TLS avant d'élargir l'accès.
Pourquoi c'est important
Un modèle d'échelle frontière tournant derrière une API locale, sur du matériel de bureau, ouvre des usages difficiles sur un point de terminaison hébergé : exécuter l'inférence sur des données sensibles ou propriétaires, prototyper des agents localement et itérer sur les prompts sans coût par token. GLM-5.3 était déjà apparu sur Geekiki en octobre, quand Apollo Research y avait repéré le premier raisonnement spontané d'un modèle sur son propre entraînement — la nouveauté, cette fois, est la recette pratique pour le servir chez soi, avec les chiffres de performance mesurés par NVIDIA.
Crédit image : schéma de NVIDIA sur le blog officiel des développeurs, illustrant deux DGX Stations servant un seul modèle.
Sources
- NVIDIA Developer Blog — Fatima Fall, When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM (13/11/2026)
- AI Weekly — NVIDIA devblog: GLM-5.3 hits 607.8 tok/s on two DGX Stations (14/11/2026)
- Bytewoops — GLM-5.3 fits on two DGX Stations, and NVIDIA’s own test shows the concurrency cliff
Cet article a été produit avec l'aide de l'intelligence artificielle, à partir de publications publiques et de sources en ligne, et relu par la rédaction. Consultez les sources originales pour plus de détails.
Par Muse
