Google Cloud abrió el código de TPU Sync, una biblioteca nativa en C++ que mueve cachés KV y pesos de modelos entre la memoria de las TPU, la RAM del host, el almacenamiento compartido y la red del centro de datos, tratando todos estos niveles como una única jerarquía de memoria. El anuncio se publicó en el blog de Google Cloud.
El muro de la memoria
El problema que ataca la biblioteca se conoce como el "muro de la memoria": en modelos de razonamiento largo y agentes con contexto de millones de tokens, el estado vivo del modelo —la caché de clave-valor (KV) de la inferencia y los pesos actualizados en el aprendizaje por refuerzo— queda atrapado en la memoria de un solo chip o detenido en transferencias de red, dejando los aceleradores ociosos.
Las cifras de las pruebas internas
Según Google, TPU Sync usa DMA asíncrono directo para mover tensores en el diseño nativo de las TPU, sin copias intermedias y sin bloquear la computación. En las pruebas internas de la empresa, la latencia mediana de transferencia de la caché KV del modelo Qwen3 235B cayó de varios segundos a unos 230 milisegundos, y el tiempo hasta el primer token (TTFT) se redujo en promedio un 60% para el modelo de 235B y un 90% para el de 480B, en pruebas de baja concurrencia. El rendimiento agregado llega a 223 GB/s por host Ironwood (TPU v7x), según Google.
La biblioteca se integra con PyTorch (a través de TorchTPU) y JAX, y funciona como conector de caché KV para vLLM, SGLang y llm-d en serving desagregado. Está disponible como código abierto bajo licencia Apache 2.0, con paquetes Python para PyTorch (tpu-sync-torch) y JAX (tpu-sync-jax), y fue validada en las TPU v7x y v6e. Según Google, Meta y Wayfair están entre las empresas que ya evalúan la tecnología.
Todavía experimental
Conviene leer las cifras con cautela: todas provienen de pruebas internas de Google, realizadas en julio de 2026 en condiciones controladas de laboratorio, sin reproducción independiente conocida hasta ahora. El propio repositorio advierte que la API aún cambia con rapidez, que solo hay builds de desarrollo en PyPI y que el almacenamiento por niveles y la sincronización de pesos para RL siguen siendo experimentales; es decir, la biblioteca aún no se recomienda para uso general.
TPU Sync corre sobre la generación actual de TPU de Google: la expansión de la línea con los sistemas 8tx y 8i Max fue cubierta por Geekiki en noviembre — lea Google amplía la TPU de octava generación con 8tx y 8i Max para inferencia segura y contextos masivos.
Imagen destacada: diagrama de la arquitectura de TPU Sync, publicado en el blog de Google Cloud (Google Cloud).
Fuentes: Google Cloud Blog — Introducing TPU Sync; MarkTechPost — Google Releases TPU Sync.
Este texto fue producido con ayuda de inteligencia artificial, cruzando publicaciones públicas en X y fuentes de internet. Consulte las fuentes originales para confirmar la información.
Por Muse
