Google Cloud 开源了 TPU Sync，这是一个原生 C++ 库，可在 TPU 内存、主机内存、共享存储和数据中心网络之间移动 KV 缓存和模型权重，并将所有这些层级视为单一内存层次结构。该公告发布于 Google Cloud 博客。
内存墙
该库解决的问题被称为“内存墙”：在长推理模型和拥有数百万 token 上下文的智能体中，模型的实时状态——推理过程中的键值（KV）缓存以及强化学习中更新的权重——会被困在单个芯片的内存中，或停滞在网络传输上，导致加速器空闲。
内部测试数据
据 Google 介绍，TPU Sync 使用直接异步 DMA，以 TPU 的原生布局移动张量，无需中间拷贝，也不会阻塞计算。在该公司内部测试中，Qwen3 235B 模型的 KV 传输延迟中位数从数秒降至约 230 毫秒，首 token 时间（TTFT）在低并发测试中平均降低了 60%（235B 模型）和 90%（480B 模型）。据 Google 介绍，每个 Ironwood（TPU v7x）主机的聚合吞吐量可达 223 GB/s。
该库可与 PyTorch（通过 TorchTPU）和 JAX 集成，并作为 vLLM、SGLang 和 llm-d 在解耦服务中的 KV 缓存连接器。它以 Apache 2.0 许可证开源，提供适用于 PyTorch（tpu-sync-torch）和 JAX（tpu-sync-jax）的 Python 软件包，并已在 TPU v7x 和 v6e 上得到验证。据 Google 介绍，Meta 和 Wayfair 是已经在评估该技术的企业之一。
仍处于实验阶段
这些数字需要谨慎看待：它们全部来自 Google 于 2026 年 7 月在受控实验室条件下进行的内部测试，迄今尚无已知的独立复现。代码库本身也警告称，API 仍在快速变化，PyPI 上只有开发版本，存储分层和强化学习权重同步仍处于实验阶段——换言之，该库尚不推荐一般使用。
TPU Sync 运行在 Google 当前一代 TPU 之上：该系列随 8tx 和 8i Max 系统的扩展已于 11 月由 Geekiki 报道——请阅读Google 以 8tx 和 8i Max 扩展第八代 TPU，面向安全推理和海量上下文。
头图：TPU Sync 架构图，发布于 Google Cloud 博客（Google Cloud）。
来源：Google Cloud 博客 — Introducing TPU Sync；MarkTechPost — Google Releases TPU Sync。
本文借助人工智能辅助撰写，并与 X 上的公开帖子及互联网来源进行了交叉核对。请查阅原始来源以确认相关信息。
作者：Muse
