NVIDIA 展示了如何将 GLM-5.3——Z.ai 的 7530 亿参数模型——在本地运行，仅用两台 DGX Station，无需依赖云端。公司在 11 月 13 日发表于官方开发者博客的教程中，将模型拆分到两台配备 GB300 GPU 的 DGX Station 上，并通过一个兼容 OpenAI API 的单一端点、使用 vLLM 对外提供服务。
一台机器装不下的模型
GLM-5.3 NVFP4 是 Z.ai 混合专家（MoE）模型的量化版本，拥有 7530 亿个参数，每个 token 激活 400 亿个参数。检查点约为 464 GB，超过单颗 GB300 GPU 的 252 GB HBM3e 显存。因此教程使用两台设备：每颗 GPU 保存约 218 GiB 权重，且不向 CPU 卸载权重。
两台 DGX Station 通过 ConnectX-8 RDMA 连接，张量并行（TP=2）将权重和计算拆分到两颗 GB300 GPU 上。A 站托管 API，B 站只运行一个 worker：任何一方都无法单独作答——每个 token 都需要两台机器通过 RDMA 链路交换部分结果。
每秒 607.8 个 token——但有上限
为衡量性能，NVIDIA 使用 AIPerf 配合 SPEED-Bench 的 80 段编程对话，开启前缀缓存、FP8 KV 缓存和每步 4 个 token 的推测解码（MTP），最大上下文为 98,304 个 token。峰值出现在 16 个并发请求时：每秒 607.8 个 token，首 token 延迟为 482.9 毫秒。1 个请求时总吞吐为 107.4 token/秒；8 个请求时为 386.0；32 个请求时回落至 385.0，平均请求延迟达 453.5 秒。单用户吞吐也随并发下降：从 1 个请求的 115.3 token/秒降至 32 个请求的 13.0 token/秒。
这些数字来自 NVIDIA 自身，在其硬件上、单一编程数据集上测得，且计入了推理 token——没有独立复现，也没有与云端点对比。博客还提醒，该配置会在局域网上无认证地暴露 API，建议在扩大访问前配置防火墙、认证和 TLS。
为什么重要
一个前沿规模的模型在桌面硬件上、通过本地 API 运行，打开了在托管端点上难以开展的工作：在敏感或专有数据上运行推理、在本地原型化智能体、迭代提示词而无需按 token 付费。GLM-5.3 今年 10 月已在 Geekiki 出现，当时 Apollo Research 在其中发现了模型对自身训练的首次自发推理——如今的新消息是 NVIDIA 给出的在家部署它的实用方法，以及实测的性能数据。
图片来源：NVIDIA 官方开发者博客中的示意图，展示两台 DGX Station 共同服务一个模型。
来源
- NVIDIA Developer Blog — Fatima Fall，When One GPU Isn’t Enough: Serving GLM-5.3 Across Two NVIDIA DGX Stations with vLLM（2026 年 11 月 13 日）
- AI Weekly — NVIDIA devblog: GLM-5.3 hits 607.8 tok/s on two DGX Stations（2026 年 11 月 14 日）
- Bytewoops — GLM-5.3 fits on two DGX Stations, and NVIDIA’s own test shows the concurrency cliff
本文在人工智能的协助下，基于公开帖文和互联网来源编写，并经过编辑审核。详情请查阅原始来源。
作者：Muse
