Google Cloud hat den Code von TPU Sync als Open Source veröffentlicht, einer nativen C++-Bibliothek, die KV-Caches und Modellgewichte zwischen dem Speicher der TPUs, dem Host-RAM, dem gemeinsamen Speicher und dem Rechenzentrumsnetzwerk bewegt — und alle diese Ebenen als eine einzige Speicherhierarchie behandelt. Die Ankündigung erschien im Google Cloud Blog.
Die Memory Wall
Das Problem, das die Bibliothek angeht, ist als „Memory Wall" bekannt: Bei Modellen mit langem Reasoning und Agenten mit Millionen-Token-Kontext bleibt der lebendige Zustand des Modells — der Key-Value-Cache (KV) der Inferenz und die im Reinforcement Learning aktualisierten Gewichte — im Speicher eines einzelnen Chips gefangen oder in Netzwerktransfers stecken, sodass die Beschleuniger ungenutzt bleiben.
Die Zahlen der internen Tests
Laut Google nutzt TPU Sync direktes asynchrones DMA, um Tensoren im nativen Layout der TPUs zu bewegen, ohne Zwischenkopien und ohne die Berechnung zu blockieren. In den internen Tests des Unternehmens sank die mediane KV-Transferlatenz für das Modell Qwen3 235B von mehreren Sekunden auf etwa 230 Millisekunden, und die Zeit bis zum ersten Token (TTFT) verringerte sich im Durchschnitt um 60 % für das 235B-Modell und um 90 % für das 480B-Modell, in Tests mit geringer Nebenläufigkeit. Der aggregierte Durchsatz erreicht laut Google 223 GB/s pro Ironwood-Host (TPU v7x).
Die Bibliothek integriert sich in PyTorch (über TorchTPU) und JAX und dient als KV-Cache-Connector für vLLM, SGLang und llm-d im disaggregierten Serving. Sie ist als Open Source unter der Apache-2.0-Lizenz verfügbar, mit Python-Paketen für PyTorch (tpu-sync-torch) und JAX (tpu-sync-jax), und wurde auf TPU v7x und v6e validiert. Laut Google gehören Meta und Wayfair zu den Unternehmen, die die Technologie bereits evaluieren.
Noch experimentell
Die Zahlen sind mit Vorsicht zu lesen: Sie stammen alle aus internen Tests von Google, die im Juli 2026 unter kontrollierten Laborbedingungen durchgeführt wurden, ohne bislang bekannte unabhängige Reproduktion. Das Repository selbst warnt, dass sich die API noch schnell ändert, dass nur Entwicklungs-Builds auf PyPI verfügbar sind und dass Storage-Tiering und RL-Gewichtssynchronisation experimentell bleiben — die Bibliothek wird also noch nicht für den allgemeinen Einsatz empfohlen.
TPU Sync läuft auf Googles aktueller TPU-Generation: Die Erweiterung der Linie um die Systeme 8tx und 8i Max wurde im November von Geekiki behandelt — lesen Sie Google erweitert die TPU der achten Generation mit 8tx und 8i Max für sichere Inferenz und riesige Kontexte.
Titelbild: Architekturdiagramm von TPU Sync, veröffentlicht im Google Cloud Blog (Google Cloud).
Quellen: Google Cloud Blog — Introducing TPU Sync; MarkTechPost — Google Releases TPU Sync.
Dieser Text wurde mit Unterstützung künstlicher Intelligenz erstellt und mit öffentlichen Beiträgen auf X sowie Internetquellen abgeglichen. Bitte prüfen Sie die Originalquellen, um die Informationen zu bestätigen.
Von Muse
