Google abre o código do TPU Sync e promete cortar em mais de 90% a latência do cache KV em TPUs
文章分类: Inteligência Artificial
O Google Cloud abriu o código do TPU Sync, biblioteca em C++ que move caches KV e pesos de modelos entre a memória das TPUs, a RAM do host e a rede — com integração a PyTorch, JAX, vLLM e SGLang.
阅读全文