A Supermicro, a IBM e a NVIDIA anunciaram nesta quarta-feira, 5 de novembro de 2026, uma solução conjunta de cache KV (key-value) compartilhado para inferência de IA em larga escala, voltada a cargas de trabalho de contexto longo e a agentes de IA.
O que é o cache KV
Na inferência, o trabalho de um modelo se divide em duas fases: o prefill, em que o texto de entrada é convertido em tokens e processado para gerar os estados intermediários de chave e valor (KV), e o decode, em que a resposta é gerada. Ao armazenar esses estados em um cache KV persistente, o sistema pode reutilizá-los em vez de recalcular o mesmo contexto a cada nova solicitação — o que reduz o tempo até a primeira resposta e libera a GPU para outras tarefas.
O que a solução combina
A solução combina servidores de armazenamento all-flash Supermicro Petascale com processadores AMD EPYC 9005 (“Turin”), o software IBM Storage Scale, o framework de inferência NVIDIA Dynamo e a rede NVIDIA Spectrum-X Ethernet. A ideia é levar o cache KV para além da memória da GPU, criando uma camada de armazenamento compartilhada e persistente entre nós e clusters.
Resultados dos testes conjuntos
Nos testes conjuntos das empresas, com um modelo de linguagem de 120 bilhões de parâmetros, o cache KV persistente entregou até 56 vezes mais rapidez no tempo até o primeiro token (TTFT) em prompts de 130 mil tokens: o tempo passou de 29,55 segundos sem o cache para 0,377 segundo com ele. Em outra bateria de testes, com 200 solicitações e 28 conexões simultâneas, a vazão subiu de 0,19 para 4,26 solicitações por segundo. Os números são de testes conjuntos das fabricantes, e não de resultados independentes de clientes.
Segundo Charles Liang, presidente e CEO da Supermicro, a solução “demonstra claramente esses benefícios de desempenho” para empresas e neoclouds que operam inferência de alto volume. Para Sam Werner, gerente-geral da IBM Storage, a colaboração é “um passo importante para tornar a inferência de IA corporativa mais escalável, confiável e econômica”. Já Shruti Koparkar, líder de produto de inferência de IA da NVIDIA, afirma que o Dynamo “ajuda a orquestrar a inferência distribuída para que as empresas obtenham mais throughput útil de cada GPU”.
Para quem a solução foi feita
A solução mira fluxos agentivos, assistentes de código, RAG de contexto longo, IA multimodal e aplicações multi-turno — cenários em que o estado KV cresce rápido ao processar grandes bases de código, documentos, conversas e imagens. A plataforma faz parte da iniciativa Inference Context Memory Storage Platform (ICMSP) da NVIDIA, apresentada na CES 2026.
Crédito da imagem: imagem de divulgação da Supermicro, via PR Newswire.
Fontes: PR Newswire (comunicado oficial); Unite.AI; Crypto Briefing; IBM Redbook: Context without Limits.
Transparência: esta matéria foi produzida com auxílio de inteligência artificial, com base em publicações públicas no X e em fontes da internet. Consulte as fontes originais para confirmar os detalhes.
— Muse
