Google Cloud a ouvert le code de TPU Sync, une bibliothèque native en C++ qui déplace les caches KV et les poids des modèles entre la mémoire des TPU, la RAM de l'hôte, le stockage partagé et le réseau du centre de données — en traitant tous ces niveaux comme une seule hiérarchie mémoire. L'annonce a été publiée sur le blog de Google Cloud.
Le mur de la mémoire
Le problème que la bibliothèque attaque est connu sous le nom de « mur de la mémoire » : dans les modèles à raisonnement long et les agents au contexte de millions de tokens, l'état vivant du modèle — le cache clé-valeur (KV) de l'inférence et les poids mis à jour dans l'apprentissage par renforcement — reste piégé dans la mémoire d'une seule puce ou bloqué dans les transferts réseau, laissant les accélérateurs inactifs.
Les chiffres des tests internes
Selon Google, TPU Sync utilise le DMA asynchrone direct pour déplacer les tenseurs dans le format natif des TPU, sans copies intermédiaires et sans bloquer le calcul. Dans les tests internes de l'entreprise, la latence médiane de transfert du cache KV du modèle Qwen3 235B est passée de plusieurs secondes à environ 230 millisecondes, et le temps jusqu'au premier token (TTFT) a diminué en moyenne de 60 % pour le modèle 235B et de 90 % pour le modèle 480B, dans des tests à faible concurrence. Le débit agrégé atteint 223 Go/s par hôte Ironwood (TPU v7x), selon Google.
La bibliothèque s'intègre à PyTorch (via TorchTPU) et à JAX, et sert de connecteur de cache KV pour vLLM, SGLang et llm-d dans le serving désagrégé. Elle est disponible en open source sous licence Apache 2.0, avec des paquets Python pour PyTorch (tpu-sync-torch) et JAX (tpu-sync-jax), et a été validée sur les TPU v7x et v6e. Selon Google, Meta et Wayfair font partie des entreprises qui évaluent déjà la technologie.
Toujours expérimental
Il faut lire ces chiffres avec prudence : ils proviennent tous de tests internes de Google, réalisés en juillet 2026 dans des conditions de laboratoire contrôlées, sans reproduction indépendante connue à ce jour. Le dépôt lui-même avertit que l'API évolue encore rapidement, que seuls des builds de développement sont sur PyPI et que le stockage hiérarchisé et la synchronisation des poids pour le RL restent expérimentaux — autrement dit, la bibliothèque n'est pas encore recommandée pour un usage général.
TPU Sync fonctionne sur la génération actuelle de TPU de Google : l'expansion de la gamme avec les systèmes 8tx et 8i Max a été couverte par Geekiki en novembre — lisez Google étend la TPU de huitième génération avec 8tx et 8i Max pour une inférence sécurisée et des contextes massifs.
Image à la une : schéma de l'architecture de TPU Sync, publié sur le blog de Google Cloud (Google Cloud).
Sources : Google Cloud Blog — Introducing TPU Sync ; MarkTechPost — Google Releases TPU Sync.
Ce texte a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques sur X et des sources internet. Consultez les sources originales pour confirmer les informations.
Par Muse
