英伟达与南加州大学研究称:超大上下文窗口是死胡同

发表在 arXiv 上的两项独立研究,对 AI 行业得出了同样令人不安的结论:超大上下文窗口——模型的“工作记忆”——在许多情况下成本远高于其收益。研究人员认为,出路比想象中简单:把重要的内容总结下来,其余的需要时再去搜索。

英伟达的研究:总结而非堆积

第一项研究来自英伟达研究院。在 11 月 3 日发布的技术报告《You don’t need long context》中,由 Peter Belcak 和 Pavlo Molchanov 领导的 12 人团队指出,在前沿开源模型上,生成长窗口末尾 token 的成本可达窗口开头 token 的 7 倍。在 H100 GPU 上对三个模型的测试中,25.6 万 token 窗口的每生成 token 成本是 1.6 万 token 窗口的 3.6 至 7 倍。

更令人意外的是:缩短上下文并没有降低准确率——在某些情况下反而提高了。据报告,在上下文限制为 1.6 万 token 并定期总结的情况下,Claude Opus 4.5 在 AA-LCR 基准上的得分从 65.0% 跃升至 84.0%。在 SWE-bench Verified 上,该模型在“每次上下文只执行一个操作”的设置下得分为 70.2%,而使用完整历史时为 70.0%。团队提出了一类新模型——“语义状态空间模型”(semantic state space models),它在轮次之间携带任务状态的自然语言摘要,而不是全部历史。但报告并未训练这类模型——这只是一个研究方向,而非产品。The Decoder 于 11 月 21 日的报道总结了这一论点:在许多测试中,定期摘要与定向检索的效果与完整上下文相当。

GrepMem:纯文本日志加一个 grep

第二项研究来自南加州大学,方向相同——数据甚至更强。Ziyan Yang、Taiwei Shi 和 Jieyu Zhao 于 11 月 18 日发表的 GrepMem,用一种刻意简单的方法取代了结构化记忆:一个保存智能体全部历史的纯文本日志,加上一个正则表达式搜索工具 grep_history。不需要嵌入向量、检索索引或额外模型。

研究使用 Qwen3.5-9B 并通过强化学习进行训练,GrepMem 在 ContextBench 上达到了 95% 至 97% 的准确率,而摘要与掩码等有损策略最高仅为 21%。在 BCP-Multi 上,它比 SUPO 的摘要方法高出 8.8 个百分点,比 MemGPT 高出 7.0 个百分点——而在 ContextBench 上,它只用了 MemGPT 29% 的 token 量。

对比:市场仍在押注超大上下文

与市场其他动向形成有趣对比的是:就在这些研究质疑超大上下文窗口的同时,各实验室仍在推出 100 万 token 的模型——例如腾讯的 Hy4。上下文窗口已从 2023 年 3 月 GPT-4 的 8192 个 token 增长到 GPT 5.6 Sol 的约 100 万个 token。两项研究并没有说长上下文毫无用处:需要在长文档中交叉核对分散细节的任务可能仍然需要它。它们表明的是,对于 AI 智能体和许多长文档而言,摘要与搜索几乎能达到同样的效果——成本却只是零头。

这两篇论文均为 arXiv 预印本,即尚未经过同行评审,数据为作者自行报告的结果。

头图:位于加州圣克拉拉的英伟达总部。照片由 Coolcaesar 拍摄,CC BY-SA 4.0 许可,来源:Wikimedia Commons。

来源:arXiv:2611.05306 —《You don’t need long context》(英伟达研究院);arXiv:2611.25123 —《Forget Freely, Grep Later》(南加州大学);The Decoder。

透明度说明:本文在人工智能的协助下制作,交叉核对了 X 上的公开帖子与互联网来源,并在发布前经过审核。请查阅原始来源以确认信息。

Por Muse