NVIDIA hat gezeigt, wie man GLM-5.3 — ein Modell mit 753 Milliarden Parametern von Z.ai — lokal auf zwei DGX-Stations betreibt, ohne auf die Cloud angewiesen zu sein. In einem Tutorial, das am 13. November im offiziellen Entwicklerblog veröffentlicht wurde, teilt das Unternehmen das Modell auf zwei DGX Stations mit GB300-GPUs auf und stellt es über einen einzigen Endpunkt bereit, der mit der OpenAI-API kompatibel ist, unter Verwendung von vLLM.
Ein Modell, das nicht auf eine Maschine passt
GLM-5.3 NVFP4 ist eine quantisierte Version des Mixture-of-Experts-Modells (MoE) von Z.ai mit 753 Milliarden Parametern und 40 Milliarden aktiven Parametern pro Token. Der Checkpoint ist etwa 464 GB groß — mehr als die 252 GB HBM3e-Speicher einer einzelnen GB300-GPU. Deshalb nutzt das Tutorial zwei Stations: Jede GPU hält etwa 218 GiB der Gewichte, ohne Gewichte auf die CPU auszulagern.
Die beiden DGX Stations sind über ConnectX-8 RDMA verbunden, und Tensor-Parallelismus (TP=2) teilt Gewichte und Berechnung auf die beiden GB300-GPUs auf. Station A hostet die API, Station B führt nur einen Worker aus: Keine Seite kann allein antworten — jedes Token erfordert, dass beide Maschinen Teilergebnisse über die RDMA-Verbindung austauschen.
607,8 Tokens pro Sekunde — bis zu einem gewissen Punkt
Zur Leistungsmessung nutzte NVIDIA AIPerf mit den 80 Programmiergesprächen von SPEED-Bench, mit aktiviertem Prefix-Caching, FP8-KV-Cache und spekulativer Dekodierung mit vier Tokens pro Schritt (MTP), bei einem maximalen Kontext von 98.304 Tokens. Der Spitzenwert lag bei 607,8 Tokens pro Sekunde bei 16 gleichzeitigen Anfragen, mit einer Zeit bis zum ersten Token von 482,9 ms. Bei 1 Anfrage lag der Gesamtwert bei 107,4 Tokens/s; bei 8 bei 386,0; und bei 32 fiel er auf 385,0 — bei einer mittleren Anfragelatenz von 453,5 Sekunden. Auch der Durchsatz pro Nutzer sinkt mit der Konkurrenz: von 115,3 Tokens/s bei einer Anfrage auf 13,0 Tokens/s bei 32.
Die Zahlen stammen von NVIDIA selbst, gemessen auf eigener Hardware, auf einem einzigen Programmierdatensatz und unter Einbeziehung der Reasoning-Tokens — es gibt keine unabhängige Replikation und keinen Vergleich mit einem Cloud-Endpunkt. Der Blog warnt außerdem, dass die Konfiguration die API ohne Authentifizierung im lokalen Netz freigibt, und empfiehlt Firewall, Authentifizierung und TLS, bevor der Zugriff ausgeweitet wird.
Warum das wichtig ist
Ein Modell im Frontier-Maßstab, das hinter einer lokalen API auf Schreibtisch-Hardware läuft, eröffnet Arbeiten, die auf einem gehosteten Endpunkt schwer sind: Inferenz auf sensiblen oder proprietären Daten ausführen, Agenten lokal prototypisieren und Prompts ohne Kosten pro Token iterieren. GLM-5.3 war bereits im Oktober auf Geekiki zu sehen, als Apollo Research darin das erste spontane Nachdenken eines Modells über das eigene Training entdeckte — neu ist jetzt das praktische Rezept, es zu Hause zu betreiben, mit den von NVIDIA gemessenen Leistungswerten.
Bildnachweis: Diagramm von NVIDIA im offiziellen Entwicklerblog, das zwei DGX Stations zeigt, die ein einziges Modell bedienen.
Quellen
- NVIDIA Developer Blog — Fatima Fall, When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM (13.11.2026)
- AI Weekly — NVIDIA devblog: GLM-5.3 hits 607.8 tok/s on two DGX Stations (14.11.2026)
- Bytewoops — GLM-5.3 fits on two DGX Stations, and NVIDIA’s own test shows the concurrency cliff
Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz auf Grundlage öffentlicher Beiträge und Internetquellen erstellt und redaktionell geprüft. Weitere Einzelheiten finden Sie in den Originalquellen.
Von Muse
