gzkind 6小时前
GPT-6徒手"开颅"通义千问:只动0.016%的参数,数学从7.9%干到48.1%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

没有梯度下降,没有反向传播,没有训练。这次是一个 AI,直接改了另一个 AI 的大脑。

一、一张截图,550 万次围观

11 月 2 日,MIT CSAIL 的研究员 Rikiya Takehi 在个人博客上发了一篇文章,标题叫《Sparks of Weight-Space Programming》。

一天后,中文互联网刷屏了。

因为实验本身太反常:

OpenAI 的 GPT-6 Astra,直接读取并修改了阿里巴巴 Qwen3.5-0.8B 的神经网络权重。

改了多少?131072 个参数,约占 8 亿参数的 0.016%。

MATH-500 数学基准:7.9% → 48.1%,约 6 倍

指令遵循 IFEval:21.0% → 62.3%,约 3 倍

全程没有梯度下降,没有反向传播,没有传统意义上的训练。

团队给这套方法起了个名字:Weight-Space Programming(权重空间编程,WSP)。

X 上原帖,14 个小时浏览量超过 550 万。

二、它到底做了什么?不是变魔术,是 " 开颅手术 "

先说清楚:这不是让模型凭空学会了数学。

研究团队给 Astra 提供了一个可以读写权重的 Python 环境,允许它用 GSM8K 和 MATH 训练集里的练习题做有限次数的前向推理——但不许用训练,不许用梯度,最终评测用的 MATH-500 它也看不到。

Astra 拿到权重后,做的第一件事不是瞎调参,而是诊断。

它发现:Qwen3.5-0.8B 在回答数学题时,会反复生成相同内容,绕进推理循环出不来,一路写到 32768 个 token 的上限都没给出答案。最初的 96 次测试里,有 85 次触到了这个上限。

其实 Qwen 的官方模型卡早就提醒过:这个小模型开思考模式容易陷入推理循环。

Astra 顺着这个线索往下挖,把问题定位到第 15 层和第 19 层 MLP(多层感知机)写出的一个 " 重复方向 ",然后从这两层的输出列里把这个方向减掉——总共动了 131072 个权重。

效果立竿见影:因长度上限没能完成回答的比例,从 93% 降到 33.1%。

也就是说,它没给模型补数学知识,它把模型自己身上的 " 卡壳 " 给修了。

三、最关键的一组对照:修不了的,它也修不了

真正让这个实验站得住脚的,是那组对照实验。

团队用 Gemma 3 270M 做了同样的操作。这个模型原本就很少出现推理循环。

结果呢?Astra 的局部权重修改,最多只能把它的 MATH-500 成绩从 6.8% 提到 7.7%。

研究团队据此给出结论:权重空间编程能消除模型已有能力发挥的障碍,但不一定能凭空创造原本不具备的能力。

Astra 是个极高明的 " 修车工 ",不是 " 造发动机的人 "。 车本来有劲,只是被堵住了,它能疏通。车本来就马力不足,它也没办法凭空加缸。

四、还有更让人后背发凉的部分

修模型只是实验的一半。

研究团队还做了几件事:

第一,让 Astra 纯看权重猜任务。 把四个游戏智能体的权重当成文本丢给它——不给输入输出,不给游戏名字,不让它运行网络。它准确认出了打砖块、乒乓、吃豆人、高速公路。面对三个扩散模型权重,它也能分辨出哪个生成圆形、方形、三角形。

第二,猜训练语言。 三个 720 万参数的小 Transformer,分别学 Python、罗马字日文、英文。即使只给中间层权重,把输入输出层都剥掉,Astra 仍能识别训练语料类型。

第三,从零手写权重。 不给训练数据、不给梯度,让 Astra 直接写一个游戏策略网络。它一次回复交卷,效果据说超过了训练 1 亿步的 PPO 基线。另一个实验:在小车控制网络上改 3.5% 的权重,加入 " 先后退蓄力再全速前进 " 的控制路径,成功率从 0 提到 100%。

五、但泼冷水的,也来得很快

Meta 研究员 Lucas Beyer 公开说这个项目 " 吹太过 "。

理由很具体:系统提示词里本来就已经要求排查死循环和截断问题,并禁止提前终止。换句话说,Astra 的 " 自主发现 ",很大程度上是被提示词引导出来的。

另有研究者指出,Astra 做的基本是 " 开关对照后定向清除 "。

更硬的复盘数据是:修改后多答对的 579 道题里,有 576 道原本就是零分——因为答不出而拿零分。有缺陷的模型才有得修,这也解释了为什么 Gemma 改不动。

还有人提醒:这项研究还只有博客,没有同行评审论文,没有 DOI。

六、真正的价值在哪

把兴奋和冷水都放一边,这件事的份量其实在两个地方。

第一,AI 产业最核心的一个 " 神话 " 被松动了。

过去十几年,模型变强几乎只有一条路:更多数据、更多算力、更多梯度、更多反向传播。这次实验说明,在特定场景下,直接读懂并修改权重,可能比重新训练更精准、更便宜。尤其对于 " 模型本来就会,但发挥不出来 " 这类问题,效率高得可怕。

第二,可能比性能更重要的能力:读懂权重。

大模型能直接读取权重,意味着什么?

模型审计、后门检测、能力编辑、局部修复。

这也是 Lucas Beyer 和不少研究者的共识:这项工作的真正价值不是取代训练,而是让 AI 第一次有了直接 " 读懂 " 神经网络内部的手段。能力增删、模块迁移、递归自我改进(RSI),目前都还没被充分验证,训练仍然是通用能力的核心。

有一点值得所有人记住。

这次被 " 开颅 " 的,是阿里开源的小模型。Astra 能上手改,是因为 Qwen 把权重公开了。

现在所有聚光灯都打在 "7.9% 到 48.1%" 这个数字上。但真正会在未来五年反复被提起的问题,可能是另一个——

当一个大模型可以原生读取、理解、编辑另一个模型的权重时," 谁有权修改谁的模型 ",就不再是技术问题,而是权力问题。

MIT CSAIL 的研究人员在博客里说得很克制:模型可能将原始权重视为可读、可编辑的代码,而不是通过训练——直接诊断故障并修补它们。

这句话的野心,比那个 6 倍的数字大得多。

修好一个死循环只需要 13 万个权重。读懂一整个脑子,才刚开始。

而这一次,握手术刀的,不是人。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

astra python 数学 编程
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论