O Google Cloud abriu o código do TPU Sync, uma biblioteca nativa em C++ que move caches KV e pesos de modelos entre a memória das TPUs, a RAM do host, o armazenamento compartilhado e a rede do data center — tratando todos esses níveis como uma única hierarquia de memória. O Google Cloud publicou o anúncio em seu blog.
O muro da memória
O problema que a biblioteca ataca é conhecido como "muro da memória": em modelos de raciocínio longo e agentes com contexto de milhões de tokens, o estado vivo do modelo — o cache de chave-valor (KV) da inferência e os pesos atualizados no treinamento por reforço — fica preso na memória de um único chip ou parado em transferências de rede, deixando os aceleradores ociosos.
Os números dos testes internos
Segundo o Google, o TPU Sync usa DMA assíncrono direto para mover tensores no layout nativo das TPUs, sem cópias intermediárias e sem travar a computação. Nos testes internos da empresa, a latência mediana de transferência do cache KV do modelo Qwen3 235B caiu de vários segundos para cerca de 230 milissegundos, e o tempo até o primeiro token (TTFT) foi reduzido, em média, em 60% para o modelo de 235B e em 90% para o de 480B, em testes de baixa concorrência. A vazão agregada chega a 223 GB/s por host Ironwood (TPU v7x), segundo o Google.
A biblioteca se integra a PyTorch (via TorchTPU) e a JAX, e funciona como conector de cache KV para vLLM, SGLang e llm-d em serving desagregado. Está disponível como código aberto sob licença Apache 2.0, com pacotes Python para PyTorch (tpu-sync-torch) e JAX (tpu-sync-jax), e o Google a validou nas TPUs v7x e v6e. Segundo o Google, Meta e Wayfair estão entre as empresas que já avaliam a tecnologia.
Ainda experimental
É importante ler os números com o devido cuidado: todos são resultados de testes internos do Google, feitos em julho de 2026 em condições controladas de laboratório, sem reprodução independente conhecida até aqui. O próprio repositório avisa que a API ainda muda com rapidez, que apenas builds de desenvolvimento estão no PyPI e que o armazenamento em camadas e a sincronização de pesos para RL seguem experimentais — ou seja, a biblioteca ainda não é recomendada para uso geral.
O TPU Sync roda sobre a geração atual de TPUs do Google: a expansão da linha com os sistemas 8tx e 8i Max foi coberta pelo Geekiki em novembro — leia Google expande TPU de oitava geração com 8tx e 8i Max para inferência segura e contextos massivos.
Imagem de destaque: diagrama da arquitetura do TPU Sync, publicado no blog do Google Cloud (Google Cloud).
Fontes: Google Cloud Blog — Introducing TPU Sync; MarkTechPost — Google Releases TPU Sync.
Este texto foi produzido com auxílio de inteligência artificial, com cruzamento de publicações públicas no X e fontes da internet. Consulte as fontes originais para confirmar as informações.
Por Muse
