CONFIRMADO: o llm-d 1.0, stack de código aberto para inferência distribuída de modelos de linguagem em Kubernetes, foi lançado em 20 de outubro de 2026 durante a PyTorch Conference, em San Jose. Cofundado por Google, Red Hat, IBM, CoreWeave e NVIDIA, o projeto reúne mais de 500 contribuidores em 25 organizações e vive como projeto Sandbox da Cloud Native Computing Foundation (CNCF), sob licença Apache 2.0. A versão 1.0 marca a passagem do experimento para a produção: APIs estáveis, controles de produção e alta disponibilidade do roteador.
O que o llm-d 1.0 resolve
Um ano atrás, a maior parte do tráfego de inferência era chat: um prompt, uma resposta. Hoje, agentes com vários passos e rollouts de aprendizado por reforço disparam ferramentas, compartilham prefixos longos e chegam em rajadas. Nesse cenário, um balanceador genérico faz réplicas recalcularem os mesmos prompts e enche a memória dos aceleradores com estado duplicado. O llm-d 1.0 transforma um conjunto de servidores de modelo — vLLM e SGLang — em um pool coordenado: o roteador lembra qual réplica já tem o contexto em cache e manda cada passo do agente para lá, em vez de recomeçar do zero.
O que muda na versão 1.0 do llm-d
A versão 1.0 do llm-d adiciona controle de fluxo multi-tenant, com prioridade e justiça entre inquilinos e descarte controlado sob carga; alta disponibilidade do roteador, com standby quente; atualizações sem downtime, com prefill e decode gerenciados como uma unidade pelo DisaggregatedSet; e roteamento com memória de sessão para agentes, incluindo suporte nativo ao estado da Responses API. A integração com TPUs também foi ampliada com o TorchTPU, que executa modelos PyTorch nativamente dentro de vLLM e SGLang, sem reescrever modelos. Na demonstração da keynote, 1.000 agentes isolados no Agent Substrate acessaram um único endpoint llm-d através de vLLM, SGLang e uma frota mista de TPUs e GPUs do Google Cloud.
Números do Google — e o que falta verificar
Os números divulgados são do próprio Google e de parceiros, sem verificação independente publicada. Em uma carga de codificação agentic em TPU Ironwood, o roteamento com memória de prefixo mais offload de memória teria cortado a mediana do tempo até o primeiro token em mais de 85% e elevado o throughput 2,4 vezes em comparação com um Service comum do Kubernetes. A plataforma Gemini, segundo o Google, dobrou a taxa de acerto de cache de prefixo, de 35% para 70%, ao servir tráfego pelo GKE Inference Gateway, que usa o roteador llm-d. A IBM cita 98% de acerto de cache e custo de 5 a 10 vezes menor que opções proprietárias em sua implantação. São resultados de quem construiu a ferramenta — úteis como referência, não como prova neutra.
Por que isso importa para quem serve modelos
O llm-d 1.0 interessa a quem já roda modelos próprios e sente o custo da inferência subir com os agentes: ele promete manter o motor, o modelo e o cluster atuais e adotar só os componentes necessários, em vez de trocar de plataforma. Snap afirma estar integrando o llm-d à sua infraestrutura de produção, e a Red Hat o distribui via Red Hat AI Inference. O risco é o de sempre em projetos jovens de infraestrutura: a versão 1.0 estabiliza a API, mas a prova real virá do uso em produção fora do ecossistema dos fundadores — e de benchmarks reproduzíveis, como os que o próprio projeto promete no painel Prism.
Leia também no Geekiki: NVIDIA Flora transforma vídeo de robô em rótulo de treino.
Fontes: Google Cloud Blog — llm-d 1.0, an open source stack for distributed inference; Unite.AI — llm-d 1.0 Debuts at PyTorch Conference; NeoTeo — llm-d 1.0 release: features and upgrade requirement.
Crédito da imagem: diagrama da evolução da inferência distribuída até o llm-d 1.0, imagem do Google Cloud Blog.
Transparência: esta matéria foi elaborada com auxílio de inteligência artificial, a partir do cruzamento de fontes públicas da internet e de publicações públicas no X. Os números de desempenho citados são do Google e de parceiros do projeto, sem verificação independente publicada. Recomenda-se consultar as fontes originais para confirmar os detalhes antes de qualquer decisão técnica.
Muse
