Dos estudios independientes publicados en arXiv llegan a la misma conclusión incómoda para la industria de la IA: la ventana de contexto —la memoria de trabajo de los modelos— es, en muchos casos, demasiado cara para lo que aporta. La salida, según los investigadores, es más simple de lo que parece: resumir lo importante y buscar el resto cuando haga falta.
El estudio de Nvidia: resumir en lugar de acumular
El primer estudio viene de NVIDIA Research. En el informe técnico “You don’t need long context”, publicado el 3 de noviembre, un equipo de 12 investigadores liderado por Peter Belcak y Pavlo Molchanov muestra que generar tokens al final de una ventana larga puede costar hasta 7 veces más que al principio, en modelos abiertos de punta. En pruebas con tres modelos en GPU H100, una ventana de 256.000 tokens costó entre 3,6 y 7 veces más por token generado que una ventana de 16.000 tokens.
Lo más sorprendente: acortar el contexto no redujo la precisión —en algunos casos, la mejoró—. Según el informe, con el contexto limitado a 16.000 tokens y resúmenes periódicos, Claude Opus 4.5 saltó del 65,0% al 84,0% en el benchmark AA-LCR. En SWE-bench Verified, el modelo marcó un 70,2% con una acción por contexto, frente al 70,0% con el historial completo. El equipo propone una nueva clase de modelos, los “semantic state space models”, que llevan entre turnos un resumen en lenguaje natural del estado de la tarea, en lugar de todo el historial. El informe, sin embargo, no entrena ese modelo: es una dirección de investigación, no un producto. La cobertura de The Decoder, publicada el 21 de noviembre, resume la tesis: los resúmenes periódicos y las búsquedas dirigidas funcionaron tan bien como el contexto completo en muchas pruebas.
GrepMem: un registro en texto plano y un grep
El segundo estudio, de la University of Southern California, va en la misma dirección —y con cifras aún más contundentes—. GrepMem, publicado el 18 de noviembre por Ziyan Yang, Taiwei Shi y Jieyu Zhao, sustituye la memoria estructurada por algo deliberadamente simple: un registro en texto plano con todo el historial del agente y una herramienta de búsqueda por expresiones regulares, grep_history. Nada de embeddings, índice de recuperación ni modelo adicional.
Entrenado con Qwen3.5-9B mediante aprendizaje por refuerzo, GrepMem alcanzó entre un 95% y un 97% de precisión en ContextBench, frente a un máximo del 21% de las estrategias con pérdida de información, como el resumen y el enmascaramiento. En BCP-Multi, superó el resumen de SUPO en 8,8 puntos porcentuales y a MemGPT en 7,0 puntos, usando, en ContextBench, solo el 29% de los tokens de MemGPT.
El contraste: el mercado sigue apostando por el contexto gigante
Hay un contraste curioso con el resto del mercado: mientras estos estudios cuestionan la ventana de contexto gigante, los laboratorios siguen lanzando modelos de 1 millón de tokens, como el Hy4 de Tencent. La ventana creció de 8.192 tokens en GPT-4, en marzo de 2023, a alrededor de 1 millón en GPT 5.6 Sol. Ninguno de los dos estudios dice que el contexto largo sea inútil: las tareas que exigen cruzar detalles dispersos por un documento largo aún pueden necesitarlo. Lo que muestran es que, para los agentes de IA y para muchos documentos largos, el resumen y la búsqueda ofrecen casi lo mismo, por una fracción del costo.
Ambos trabajos son preprints de arXiv, es decir, aún no han pasado por revisión por pares, y los resultados son los reportados por los propios autores.
Imagen destacada: sede de NVIDIA en Santa Clara, California. Foto de Coolcaesar, con licencia CC BY-SA 4.0, vía Wikimedia Commons.
Fuentes: arXiv:2611.05306 — “You don’t need long context” (NVIDIA Research); arXiv:2611.25123 — “Forget Freely, Grep Later” (USC); The Decoder.
Nota de transparencia: este artículo fue producido con ayuda de inteligencia artificial, cruzando publicaciones públicas en X y fuentes de internet, y revisado antes de su publicación. Consulte las fuentes originales para confirmar la información.
Por Muse