Zwei unabhängige Studien, die auf arXiv veröffentlicht wurden, kommen zum gleichen unbequemen Schluss für die KI-Branche: Das Kontextfenster — das Arbeitsgedächtnis der Modelle — ist in vielen Fällen viel zu teuer für das, was es leistet. Der Ausweg ist nach Ansicht der Forscher einfacher, als es klingt: zusammenfassen, was wichtig ist, und den Rest bei Bedarf suchen.
Die Nvidia-Studie: zusammenfassen statt anhäufen
Die erste Studie stammt von NVIDIA Research. Im technischen Bericht „You don’t need long context“, veröffentlicht am 3. November, zeigt ein 12-köpfiges Team um Peter Belcak und Pavlo Molchanov, dass das Erzeugen von Tokens am Ende eines langen Fensters bis zu siebenmal mehr kosten kann als am Anfang — bei offenen Spitzenmodellen. In Tests mit drei Modellen auf H100-GPUs kostete ein Fenster von 256.000 Tokens 3,6- bis 7-mal mehr pro erzeugtem Token als ein Fenster von 16.000 Tokens.
Überraschender noch: Ein kürzerer Kontext senkte die Genauigkeit nicht — in manchen Fällen verbesserte er sie sogar. Dem Bericht zufolge sprang Claude Opus 4.5 mit auf 16.000 Tokens begrenztem Kontext und regelmäßigen Zusammenfassungen von 65,0 % auf 84,0 % im Benchmark AA-LCR. Bei SWE-bench Verified erreichte das Modell 70,2 % mit einer Aktion pro Kontext, gegenüber 70,0 % mit dem vollständigen Verlauf. Das Team schlägt eine neue Modellklasse vor, die „semantic state space models“, die zwischen den Runden eine Zusammenfassung des Aufgabenstands in natürlicher Sprache mitführen, statt den gesamten Verlauf. Der Bericht trainiert ein solches Modell jedoch nicht — es ist eine Forschungsrichtung, kein Produkt. Die Berichterstattung von The Decoder, veröffentlicht am 21. November, fasst die These zusammen: Regelmäßige Zusammenfassungen und gezielte Suchen funktionierten in vielen Tests etwa so gut wie der vollständige Kontext.
GrepMem: ein Klartext-Protokoll und ein grep
Die zweite Studie, von der University of Southern California, weist in dieselbe Richtung — mit noch stärkeren Zahlen. GrepMem, veröffentlicht am 18. November von Ziyan Yang, Taiwei Shi und Jieyu Zhao, ersetzt strukturiertes Gedächtnis durch etwas bewusst Einfaches: ein Protokoll im Klartext mit dem gesamten Verlauf des Agenten plus ein Suchwerkzeug für reguläre Ausdrücke, grep_history. Keine Embeddings, kein Retrieval-Index, kein zusätzliches Modell.
Mit Qwen3.5-9B per Reinforcement Learning trainiert, erreichte GrepMem 95 % bis 97 % Genauigkeit auf ContextBench, gegenüber höchstens 21 % bei verlustbehafteten Strategien wie Zusammenfassung und Maskierung. Auf BCP-Multi übertraf es SUPOs Zusammenfassung um 8,8 Prozentpunkte und MemGPT um 7,0 Punkte — und verbrauchte auf ContextBench nur 29 % der Tokens von MemGPT.
Der Kontrast: Der Markt setzt weiterhin auf Riesenkontext
Es gibt einen merkwürdigen Kontrast zum Rest des Marktes: Während diese Studien das riesige Kontextfenster infrage stellen, bringen Labore weiterhin Modelle mit 1 Million Tokens heraus — etwa Tencents Hy4. Das Fenster wuchs von 8.192 Tokens bei GPT-4 im März 2023 auf rund 1 Million bei GPT 5.6 Sol. Keine der beiden Studien behauptet, langer Kontext sei nutzlos: Aufgaben, bei denen Details aus einem langen Dokument abgeglichen werden müssen, brauchen ihn womöglich weiterhin. Was sie zeigen: Für KI-Agenten und viele lange Dokumente liefern Zusammenfassung und Suche fast dasselbe — zu einem Bruchteil der Kosten.
Beide Arbeiten sind arXiv-Preprints, also noch nicht peer-reviewed, und die Ergebnisse sind die von den Autoren selbst berichteten.
Titelbild: NVIDIA-Hauptsitz in Santa Clara, Kalifornien. Foto von Coolcaesar, lizenziert unter CC BY-SA 4.0, via Wikimedia Commons.
Quellen: arXiv:2611.05306 — „You don’t need long context“ (NVIDIA Research); arXiv:2611.25123 — „Forget Freely, Grep Later“ (USC); The Decoder.
Transparenzhinweis: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt, unter Abgleich öffentlicher Beiträge auf X und Quellen im Internet, und vor der Veröffentlichung geprüft. Bitte prüfen Sie die Originalquellen, um die Informationen zu bestätigen.
Por Muse