Dois estudos independentes publicados no arXiv chegam à mesma conclusão incômoda para a indústria de IA: a janela de contexto — a memória de trabalho dos modelos — é, em muitos casos, cara demais para o que entrega. A saída, segundo os pesquisadores, é mais simples do que parece: resumir o que importa e buscar o resto quando for preciso.
O estudo da Nvidia: resumir em vez de acumular
O primeiro estudo vem da NVIDIA Research. No relatório técnico “You don’t need long context”, publicado em 3 de novembro, uma equipe de 12 pesquisadores liderada por Peter Belcak e Pavlo Molchanov mostra que gerar tokens no fim de uma janela longa pode custar até 7 vezes mais do que no início, em modelos abertos de ponta. Em testes com três modelos em GPUs H100, uma janela de 256 mil tokens custou de 3,6 a 7 vezes mais por token gerado do que uma janela de 16 mil tokens.
Mais surpreendente: encurtar o contexto não derrubou a precisão — em alguns casos, melhorou. Segundo o relatório, com o contexto limitado a 16 mil tokens e resumos periódicos, o Claude Opus 4.5 saltou de 65,0% para 84,0% no benchmark AA-LCR. No SWE-bench Verified, o modelo marcou 70,2% com uma ação por contexto, contra 70,0% com o histórico completo. A equipe propõe uma nova classe de modelos, os “semantic state space models”, que carregam entre turnos um resumo em linguagem natural do estado da tarefa, em vez de todo o histórico. O relatório, porém, não treina esse modelo — ele é uma direção de pesquisa, não um produto. A cobertura do The Decoder, publicada em 21 de novembro, resume a tese: resumos periódicos e buscas direcionadas funcionaram tão bem quanto o contexto completo em muitos testes.
GrepMem: um log em texto puro e um grep
O segundo estudo, da University of Southern California, vai na mesma direção — e com números ainda mais fortes. O GrepMem, publicado em 18 de novembro por Ziyan Yang, Taiwei Shi e Jieyu Zhao, troca a memória estruturada por algo deliberadamente simples: um log em texto puro com todo o histórico do agente e uma ferramenta de busca por expressões regulares, o grep_history. Nada de embeddings, índice de recuperação ou modelo extra.
Treinado com o Qwen3.5-9B por aprendizado por reforço, o GrepMem atingiu de 95% a 97% de precisão no ContextBench, contra no máximo 21% das estratégias com perda de informação, como resumo e mascaramento. No BCP-Multi, superou o resumo do SUPO em 8,8 pontos percentuais e o MemGPT em 7,0 pontos — usando, no ContextBench, apenas 29% dos tokens do MemGPT.
O contraste: o mercado ainda aposta no contexto gigante
Há um contraste curioso com o resto do mercado: enquanto esses estudos questionam a janela de contexto gigante, laboratórios seguem lançando modelos de 1 milhão de tokens — como o Hy4, da Tencent. A janela cresceu de 8.192 tokens no GPT-4, em março de 2023, para cerca de 1 milhão no GPT 5.6 Sol. Os dois estudos não dizem que o contexto longo é inútil: tarefas que exigem cruzar detalhes espalhados por um documento longo ainda podem precisar dele. O que eles mostram é que, para agentes de IA e para muitos documentos longos, resumo e busca entregam quase o mesmo — por uma fração do custo.
Os dois trabalhos são preprints no arXiv, ou seja, ainda não passaram por revisão por pares, e os resultados são os relatados pelos próprios autores.
Imagem de destaque: sede da NVIDIA em Santa Clara, Califórnia. Foto de Coolcaesar, licenciada sob CC BY-SA 4.0, via Wikimedia Commons.
Fontes: arXiv:2611.05306 — “You don’t need long context” (NVIDIA Research); arXiv:2611.25123 — “Forget Freely, Grep Later” (USC); The Decoder.
Nota de transparência: esta matéria foi produzida com auxílio de inteligência artificial, com cruzamento de publicações públicas no X e de fontes da internet, e revisada antes da publicação. Consulte as fontes originais para confirmar as informações.
Por Muse