Deux études indépendantes publiées sur arXiv arrivent à la même conclusion gênante pour l'industrie de l'IA : la fenêtre de contexte — la mémoire de travail des modèles — est, dans bien des cas, beaucoup trop chère pour ce qu'elle apporte. La solution, selon les chercheurs, est plus simple qu'il n'y paraît : résumer l'essentiel et chercher le reste quand il le faut.
L'étude de Nvidia : résumer au lieu d'accumuler
La première étude vient de NVIDIA Research. Dans le rapport technique « You don’t need long context », publié le 3 novembre, une équipe de 12 chercheurs dirigée par Peter Belcak et Pavlo Molchanov montre que générer des tokens à la fin d'une longue fenêtre peut coûter jusqu'à 7 fois plus qu'au début, sur des modèles ouverts de pointe. Lors de tests avec trois modèles sur GPU H100, une fenêtre de 256 000 tokens a coûté de 3,6 à 7 fois plus par token généré qu'une fenêtre de 16 000 tokens.
Plus surprenant encore : raccourcir le contexte n'a pas fait baisser la précision — dans certains cas, elle s'est améliorée. Selon le rapport, avec le contexte limité à 16 000 tokens et des résumés périodiques, Claude Opus 4.5 est passé de 65,0 % à 84,0 % sur le benchmark AA-LCR. Sur SWE-bench Verified, le modèle a obtenu 70,2 % avec une action par contexte, contre 70,0 % avec l'historique complet. L'équipe propose une nouvelle classe de modèles, les « semantic state space models », qui transportent entre les tours un résumé en langage naturel de l'état de la tâche, au lieu de tout l'historique. Le rapport, toutefois, n'entraîne pas ce modèle : c'est une direction de recherche, pas un produit. La couverture de The Decoder, publiée le 21 novembre, résume la thèse : les résumés périodiques et les recherches ciblées ont fonctionné aussi bien que le contexte complet dans de nombreux tests.
GrepMem : un journal en texte brut et un grep
La deuxième étude, de l'University of Southern California, va dans le même sens — avec des chiffres encore plus forts. GrepMem, publié le 18 novembre par Ziyan Yang, Taiwei Shi et Jieyu Zhao, remplace la mémoire structurée par quelque chose de délibérément simple : un journal en texte brut contenant tout l'historique de l'agent et un outil de recherche par expressions régulières, grep_history. Ni embeddings, ni index de récupération, ni modèle supplémentaire.
Entraîné avec Qwen3.5-9B par apprentissage par renforcement, GrepMem a atteint de 95 % à 97 % de précision sur ContextBench, contre 21 % au maximum pour les stratégies avec perte d'information, comme le résumé et le masquage. Sur BCP-Multi, il a dépassé le résumé de SUPO de 8,8 points de pourcentage et MemGPT de 7,0 points — en utilisant, sur ContextBench, seulement 29 % des tokens de MemGPT.
Le contraste : le marché mise toujours sur le contexte géant
Il y a un contraste curieux avec le reste du marché : alors que ces études remettent en question la fenêtre de contexte géante, les laboratoires continuent de lancer des modèles à 1 million de tokens — comme le Hy4 de Tencent. La fenêtre est passée de 8 192 tokens dans GPT-4, en mars 2023, à environ 1 million dans GPT 5.6 Sol. Aucune des deux études ne dit que le contexte long est inutile : les tâches qui exigent de croiser des détails dispersés dans un long document peuvent encore en avoir besoin. Ce qu'elles montrent, c'est que, pour les agents d'IA et pour de nombreux documents longs, le résumé et la recherche offrent presque la même chose — pour une fraction du coût.
Les deux travaux sont des preprints arXiv, c'est-à-dire qu'ils n'ont pas encore été évalués par des pairs, et les résultats sont ceux rapportés par les auteurs eux-mêmes.
Image à la une : siège de NVIDIA à Santa Clara, en Californie. Photo de Coolcaesar, sous licence CC BY-SA 4.0, via Wikimedia Commons.
Sources : arXiv:2611.05306 — « You don’t need long context » (NVIDIA Research) ; arXiv:2611.25123 — « Forget Freely, Grep Later » (USC) ; The Decoder.
Note de transparence : cet article a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques sur X et des sources sur internet, et relu avant publication. Consultez les sources originales pour confirmer les informations.
Por Muse