GPT-6 Astra改权重爆火？我们做了一组对照实验，模型根本没变聪明

张牧涵博士，无涯智远（Norizon AI）创始人兼首席科学家，主要研究方向为持续学习、自进化智能体、图机器学习、大模型架构和推理等。曾任 Facebook AI（现 Meta AI）研究科学家，负责面向十亿用户规模的大规模图机器学习系统研发。现任北京大学人工智能研究院助理教授、研究员、博士生导师，首届国家级青年人才项目（海外）获得者。常年担任 NeurIPS、ICML、ICLR 等顶级学术会议领域主席。Google Scholar 总引用量超过 16000 次，2025 年起，连续两年入选 Elsevier 全球前 2% 顶尖科学家（终身影响力榜单）。 一个让人眼前一亮的结果 MIT CSAIL 的研究者发布了一篇博客《Sparks of Weight-Space Programming》。里面最抓眼球的是一组数字：GPT-6 Astra 不用梯度下降训练，只改动 Qwen3.5-0.8B 约 0.016% 的权重，就把 MATH-500 的成绩从 7.9% 提到了 48.1%。 他们把这种做法称为 Weight-Space Programming（WSP）：让一个足够强的通用大模型去读模型、分析模型，然后直接动手改写它的权重。 作为研究 超网络和模型持续学习 的学者，我对这个方向感到兴奋。 先说说我们自己。无涯智远是我创办的一家 AI 创业公司，只做一件事：让大模型出厂之后，还能像人一样边用边学。 今天常见的办法，是把上下文越拉越长，或者攒一批数据 "回炉重造" 一个新版本。我们选了另一条路：直接改模型参数，把新经历写进模型本身。 用的工具叫超网络。 简单说，就是用一个网络去直接生成另一个网络的参数更新 。给它一份新材料，一次计算就能完成写入，不必反复训练。它更像给模型装了一颗 "海马体"：上下文是随手可清的短期记忆，写进参数的东西才会留下来，下一个任务还能用。 所以看到 WSP，我的第一反应是亲切：我们奔着同一个愿景 —— 不靠重新训练，让模型在使用中继续成长。手段却不一样：WSP 靠通用大模型现场推理、临时设计一次编辑；我们则事先训练好一个专门负责更新的模型。一个靠现场发挥，一个靠事先学会，两者很可能互补。 也正因如此，我更好奇一个问题： Astra 这样现场改权重，能不能帮模型真正吸收部署之后遇到的新知识、新规则和人类反馈，并在后面稳定地用起来 ？ 围绕这个问题，我们做了一组补充实验。结果既给了我们继续探索的理由，也提醒我们：几种不同意义上的 "模型进化"，得分开来看。 48.1% 旁边，该放一个什么基线？ 先看原博客里一个容易被略过的细节：Qwen3.5-0.8B 的主要毛病，是开启思考模式后容易陷入重复循环，一遍遍绕圈直到耗尽 token。Astra 的干预减少了循环，让模型更有机会把话说完。作者自己也说得很清楚，修复循环和增加数学能力是两回事 —— 在很少出现循环的 Gemma 3 270M 上，MATH-500 只从 6.8% 变到 7.0%~7.7%，没有建立起有效提升。（原文实验） 于是我们补了一个很朴素的对照：不改权重，只是把思考模式关掉，会怎么样？ 在同一套 MATH-500 测试集、相同的采样和评分设置下，未经任何编辑的 Qwen3.5-0.8B 关掉思考模式后，准确率是 48.95%。 前两行来自原作者实验，第三行来自我们的独立测试。Qwen 官方模型卡本来就把 0.8B 设为默认非思考模式，也提示了它在思考模式下更容易出现循环。 这个对照改变了问题本身。对于一个绕圈到耗尽 token 上限的模型来说，权重编辑确实带来了明显改善；但和 "关掉思考" 这个几乎零成本的办法相比，它看上去没有额外收益。 我并不觉得这会抹掉 WSP 的价值。能够定位并干预一种内部行为机制，本身就是 Astra 推理能力的展示：它先发现失败大多来自重复思考，再对比正常推进与陷入循环的上下文，提取出内部表示里的 "重复方向"，最后找到哪些神经元在往这个方向写信号，对两层 MLP 做了定向修改。这是一条完整、漂亮的因果链条。 更值得记下的是另一件事：权重不再只是一堆只能靠梯度下降慢慢挪动的数字，它可以被另一个模型像读文本一样读取、理解，再直接改写。过去想让模型变强，只有一条路：攒数据、跑训练；现在多了第二条：让模型去读另一个模型，然后写它。这不是又一种微调技巧，而是训练范式本身的变化。 真正的问题是，这条链条能延伸多远？面对一个陌生模型里更复杂、分布更广的知识和能力，Astra 还能不能找到对应机制，并事先判断一次修改的收益和副作用？WSP 给出了有价值的初步证据，但还不足以说明它已经建立起稳定、可迁移的 "参数 — 行为" 映射。 修改参数能否让模型学点新东西？ 我们用 Qwen3.8-27B 作为共同起点，比较三种状态：未经更新的模型、 Astra 编辑权重后的模型，以及经过我们的超网络内化新知识的模型。 受 Astra 调用额度和执行速度限制，测试规模较小：从 SQuAD、CharacterBench 和 lingOLY 中各抽取 10 条样本，分别考察知识内化、角色与风格适配、技能内化。需要材料的环节，两种更新方法拿到的是同一份材料；回答时把材料撤掉，看看模型能否只靠更新后的参数作答。 知识：放大了信号，没换掉概念 在 SQuAD 上，超网络更新后的模型能在没有原始材料的情况下答出问题，另外两组都没有成功。 有个样本特别能说明问题。材料讲的是 Cestida（带状栉水母）：靠身体波动和栉板列拍动游泳，已知只有两个物种。它和 Cestoda（绦虫）拼写很近，未编辑的模型恰好把两者搞混了。 Astra 的诊断并不含糊：它对比材料文本和绦虫描述在 MLP 层的激活差异，挑出对材料更敏感的那些神经元，把它们的输出分别放大 1.5 倍和 2 倍。权重确实改了，措辞也确实变了，但概念没变 —— 两个强度下，模型依然坚称 Cestid 是不会游泳的绦虫，依然说有四五千个物种。 放大一个和材料相关的信号，建立不了 "Cestida 指带状栉水母" 这条新关联。从相关性到因果，正是知识编辑最难跨过的一步。 风格：写进了参数，没写进人格 CharacterBench 上，经超网络更新后，模型的输出明显体现了角色和风格的要求，Astra 这一组则没有。 材料要求模型扮演 Evolto：一个傲慢、贪婪、爱用反问彰显优越感的反派。Astra 的做法，是计算 "有角色材料" 和 "无材料" 两种状态下某一层的激活差，把它作为一次修改写进单层权重。写入是成功的，权重张量确实变了，算术这类中性能力也没受影响。 可模型一开口就露了馅：自我介绍还是 "通义千问"，被质疑本领普通时还是谦和地回应，被要求把最珍贵的东西免费分给大家，还是爽快答应。把同一个向量写进一层，没法在所有新问题、所有生成位置上都唤起同一个人格。相比之下，同一份材料经超网络内化后，回答里出现了傲慢、反问和角色特有的措辞。 技能：用得上规则，才算学会 lingOLY 考察的是技能：给模型一门陌生语言的简短学习材料，要求它学会其中的语法和词汇规则，再去做翻译和推理题。10 道题里，未经更新的模型答对 1 题，Astra 编辑后还是 1 题， 超网络内化