微软将 USB4 之上的 RDMA 带到 Windows,让多台电脑合跑 AI 模型

微软宣布了 Windows 上 USB4 之上的 RDMA 开发者预览版:通过线缆连接两台或多台具备 USB4 接口的电脑,即可把单个 AI 模型拆分到多台机器上运行,汇聚它们的内存与 GPU 算力。公告于 2026 年 11 月 19 日发布在微软官方 USB 博客上。

这一功能解决了本地 AI 的一个实际问题:许多能力最强的开源模型装不进单台电脑的内存。此前只能缩小模型、把任务交给云端,或者搭建使用专用网络硬件的服务器集群。而有了 USB4 之上的 RDMA,集群可以只是桌面上的一小摞电脑,仅用 USB4 线缆相连——无需专用网卡、无需交换机,也无需第三方驱动。

RDMA(远程直接内存访问)在两台系统的内存之间直接传输数据,绕过大部分传统网络协议栈,从而降低延迟和 CPU 开销。Windows 多年来一直通过 NetworkDirect API 支持 RDMA,但仅限于专用的以太网和 InfiniBand 适配器,这类硬件在服务器中常见,在 PC 中却很少见。此次的新意在于把同一 API 带到 USB4 链路:新的 USB4 NetworkDirect 提供程序开源,基于修改版 llama.cpp 的测试环境同样开源。

与 AMD 和英特尔的初步测试结果

据微软介绍,两台电脑之间的实测显示,小消息的往返延迟降至约 28 至 50 微秒,比同一 USB4 链路上的以太网(UDP)低约四倍。该功能支持 40 Gbps 和 80 Gbps 链路,后者的带宽翻倍。

在与芯片合作伙伴的测试中,三台迷你电脑各配备 AMD Ryzen AI Max+ 395 处理器、Radeon 8060S 显卡和 128 GB 统一内存,以 40 Gbps USB4 全互联方式运行 2350 亿参数的 Qwen3-235B-A22B 模型,在 4 比特量化下约为每秒 18.5 个 token。AMD 在自有配置中测得解码速度为每秒 21.98 个 token,提示处理速度为每秒 117.98 个 token。

英特尔则在三台和四台电脑上测试了 GPT-OSS-120B,这是一个约 1200 亿参数的开源模型,装不进单台 64 GB 电脑;每台电脑配备酷睿 Ultra 3 系列处理器和 64 GB 内存,通过 Thunderbolt 4 全互联:在 1000 token 上下文下,三台电脑约为每秒 49 个 token,四台约为每秒 54 个 token。

需要什么——以及预览版的限制

搭建采用 USB4 RDMA 的集群时,每台电脑需要由 Windows 管理的 USB4 接口——40 Gbps 可用,Thunderbolt 5 的 80 Gbps 更适合重负载——还需要足够接口让每台电脑直接连接其他每一台(三台电脑的集群每台需要两个接口),以及每对电脑之间一根 USB4 线缆。微软建议采用全互联拓扑,并提醒串联连接会大幅降低性能。

开发者预览版即将面向 Windows 预览体验计划的实验频道(Future Platforms)推出。该功能默认关闭,需要注册表项并开启测试签名——这要求暂时关闭安全启动。因此微软建议使用专用的测试电脑,而非日常使用的机器。传输本身也不会重试:如果连接断开,应用程序需要自行重建。

NetworkDirect 提供程序和 llama.cpp 示例代码已开源,开发者可以在构建版本到来之前做好准备。微软还表示,正在探索 Windows ML 和 DirectX Compute Graph 编译器如何让原生多电脑 AI 执行在未来进入 Windows。

封面图片:两个 USB-C 接口。照片由 Logant547 拍摄,CC BY 4.0 许可,经由 Wikimedia Commons。

来源:Microsoft Tech Community — Introducing RDMA over USB4® on Windows;Neowin — Microsoft shows massive gains with new Windows USB4 feature;VideoCardz — Microsoft brings RDMA over USB4 to Windows;USB4 NetworkDirect 提供程序(开源);RDMA over USB4 的 llama.cpp 示例(开源)。

本文在人工智能的辅助下,基于公开帖文和网络资料撰写,并经编辑审校。请查阅原始来源以确认细节。

作者:Muse