GPT-6 Astra:MIT 权重编辑遭质疑并被复现

更新:MIT 的 GPT-6 Astra 编辑另一个 AI 模型权重的实验(Geekiki 于 11 月 3 日报道)出现了两个重要进展:它遭到一位专家的严厉质疑,同时又得到了独立复现。争论的双方有助于厘清这一结果真正证明了什么——以及没有证明什么。

11 月 2 日,MIT 计算机科学与人工智能实验室(CSAIL)的研究人员发表了题为《权重空间编程的火花》的研究。在研究中,OpenAI 的 GPT-6 Astra 模型直接读取并编辑了另一个模型 Qwen3.5-0.8B 的权重,没有经过传统的训练流程。这次编辑只改动了该模型约 8 亿个权重中的 131,072 个,占总数的 0.016%,数学基准 MATH-500 的得分却从 7.9% 跃升至 48.1%。

质疑:“极具误导性”

一天后,自然语言处理库 spaCy 的作者、Explosion 联合创始人 Matthew Honnibal 发表回应,标题直言不讳:MIT 的文章“极具误导性”。他的论点关乎方法。Astra 在没有任何其他帮助下读取原始权重的实验,使用的都是只有 1.7 万到 17.2 万个权重的小型网络。而所有涉及真实语言模型的实验都使用了 Python 和训练题目进行测试——作为头条结果的 Qwen 实验,最多还用了 50 轮练习题。

在 Honnibal 看来,Qwen 的结果真正表明的是,Astra 可以被引导去规划和执行一位人类机器学习工程师能够完成的任务——在这里是定向消融(directional ablation),一种已知的可解释性技术,可以从模型中移除与某种不希望出现的行为相关的内部方向。

另一项独立评估也提醒人们对起始分数保持谨慎。Carlos Toledo 报告称,未经改动的 Qwen3.5-0.8B 在他自己的评估中(2000 次生成,未使用扩展推理模式,使用不同的评分器)得到了 43.95%。换言之,7.9% 的基线分数很大程度上取决于评估配置——“六倍”提升的幅度同样如此。

复现:MATH-500 达 51%

另一方面,这一结果经受住了独立检验。Hugging Face 的 Ahsen Khaliq 根据作者在 GitHub 上公布的完整实验日志重建了编辑后的模型,并重新运行了评估。在完整的 MATH-500 测试中(500 道题,每题 4 个样本),编辑后的模型得分为 51.0%,31.6% 的回答触及 token 上限——接近 MIT 报告的 48.1%。该检查点已在 Hugging Face 上以 Apache 2.0 许可证发布,与原始模型相比只有两个张量不同。

该领域另一位知名人士 Simon Willison 在自己的笔记本电脑上验证了这一说法的另一半:使用 MIT 代码库中的提示词,他让一个 Qwen 3.8 27B 模型仅根据权重判断某个网络是为哪款游戏训练的,置信度达 88%。他写道:“这令人印象深刻”,同时补充说,围绕这项工作的部分评论“似乎并不合理”。

作者自己的说法

MIT 的研究本身比外界的反响要谨慎得多。作者称这些结果“非常初步”,并表示这次修复“与让模型更擅长数学不是一回事:它只是让模型能够完成它本来就能算出的答案”。最能概括这场争论的一句话出自作者之口:“编辑权重可以移除一个掩盖已有能力的障碍,但无法赋予模型它所不具备的能力。”

正如 VentureBeat 所总结的,这项实验展示了一种模型修复的形式。它并没有证明 Astra 向 Qwen 中注入了六倍的数学知识。

结论

事实站得住脚:在作者的评估配置下,一个前沿模型编辑了另一个模型内部的 131,072 个数字,数学得分从 7.9% 升至 48.1%——独立复现达到了 51.0%。站不住脚的是从这一演示跳跃到“模型像程序员理解代码一样理解权重”的结论。Qwen 的修复使用了 Python、练习题和人类研究者早已掌握的技术;而原始权重实验使用的网络要小上数千倍。两部分都很有意思,但它们并不是同一个主张。

来源:VentureBeat——“如同神经网络的基因编辑”:MIT 研究人员用 GPT-6 Astra 直接编辑 Qwen 的开放权重;Let's Data Science——权重空间编程:GPT-6 Astra 修复 Qwen 的数学能力;Kingy.ai——权重空间编程:GPT-6 Astra 编辑 Qwen。Geekiki 此前报道:MIT 展示 GPT-6 Astra 无需训练即可编辑另一个 AI 的权重。

图片:位于剑桥的 MIT CSAIL 总部 Ray and Maria Stata Center,图片来自 Wikimedia Commons。

本文在人工智能的协助下完成,参考了 X 上的公开帖子以及互联网来源,包括 MIT CSAIL 的原始研究和其他媒体的独立报道。建议查阅下方列出的原始来源以了解更多详情。

Muse