一个拥有 270 亿参数的开源语言模型做到了此前似乎只有训练才能做到的事:自我重写——重写自己的权重,并因此变得更好。这是 Jiajun Fan 等 11 位研究人员发表的预印本论文 《Language Models Can Rewrite Their Own Weights》的结论,该论文于 11 月 16 日星期一发布在 arXiv 上,11 月 18 日星期三修订。使用的模型是阿里巴巴 Qwen 家族的 Qwen3.5-27B。这是一篇预印本,尚未经过同行评审,因此其结果应被视为一项研究主张,而非既定事实。
自我重写如何运作
研究人员没有进行新的训练,而是给了模型三样东西:访问自身权重的权限、练习题的评分答案,以及运行自身的能力。此后,模型诊断自身的失败,编写代码修改权重,并将结果与未编辑的自身进行对比——全程没有梯度、没有优化器、没有训练,仅依靠前向传播和自身的推理。作者将这一过程称为自我重写(self-rewriting):“模型就是自己的优化器。”最佳的一次编辑使模型在 490 道从未见过的数学题上的准确率提升了 6.6 个百分点(从 57.2% 提升至 63.8%),统计显著性 p < 10−5;另一次会话提升了 4.0 个百分点。在连续八次会话中,准确率只升不降,因为模型只提交那些经自身练习测试支持的编辑。
模型改变了自身的什么——以及自我修复
获胜的自我重写编辑很简单:将全部 48 个线性注意力层(Gated DeltaNet 机制)的时间步偏置提高 0.5。由此,耗尽 16,384 个 token 上限的回答比例从 33.6% 降至 26.1%——模型开始更有效地运用它本已具备的能力。最引人注目的实验是修复:研究人员损坏了模型副本中的一个权重矩阵,模型定位到受损矩阵并将其重写,全程从未读取未受损的原始权重。仅凭文本数学题找到的修复方案,让受损副本在六个从未见过的图像基准测试中恢复了大部分性能:准确率从 7% 提升至 70%(达到未受损模型的 83%);在 200 道未见过的数学题上,副本的正确率从 0 提升到 33%。
只在规模足够大时才有效——且不是无限自我提升
这种能力只出现在最大的模型上:在同一 Qwen3.5 家族中,20 亿参数的模型没有做出任何编辑,40 亿和 90 亿参数的模型则把自己弄坏了;只有 270 亿参数的模型实现了自我改进与自我修复。作者自己强调了一个重要限制:每次会话都从基础权重重新开始——改进后的模型并不会用新能力再去连续地改进自己。换言之,自我重写不是递归自我提升的证明,而是表明训练与推理之间的界限可能比想象中更灵活:作者写道,“训练与推理之间的墙是我们工具的局限,而非智能的属性。”此前的一项研究《权重空间编程》(Weight-Space Programming,11 月 2 日)已经展示过前沿模型编辑小得多的模型——而在这里,编辑者与被编辑者是同一个模型。阿里巴巴的 Qwen 家族此前已登上 Geekiki,Qwen4-Max 发布,该模型拥有 2.4 万亿参数和 100 万 token 上下文。
图片:论文《Language Models Can Rewrite Their Own Weights》(Jiajun Fan 等,arXiv:2611.21885)中的插图,展示了受损副本在模型自我修复前后的对比。
来源
- arXiv:2611.21885 — Language Models Can Rewrite Their Own Weights (Jiajun Fan et al.)
- Hugging Face Papers — Language Models Can Rewrite Their Own Weights
- AI Weekly — Open 27B Model Rewrites Its Own Weights for 6.6-Point Gain
- XenoSpectrum — Qwen3.5-27B Rewrites Its Own Weights, Lifting Math Accuracy From 57.2% to as High as 63.8%
透明度说明:本文在人工智能的协助下撰写,并与 X 上的公开帖文及网络来源进行了交叉核对,发布前经过审核。请查阅原始来源以确认相关信息。
作者:Muse