DeepSeek V4 Pro 当时为什么时灵时不灵,为什么社区里的开发者整出了各种玄学提示词?
字节 Seed 团队一篇论文把事情说透了:这条大鲸鱼患上了有规律的选择性失忆,每 4 个 Token 就犯一次糊涂,病根藏在它那套激进的压缩策略里。

001
V4 Pro 这个模型,当时给不少人整破防了。
同一个任务,昨天能跑,今天就废了,换个姿势重新发送又莫名其妙好了。更魔幻的是,有时候你完全没改任何参数,刷新一下页面重新发,输出结果就完全不同。
社区里的开发者们实在没辙,整出了各种奇葩应对方法。
先只开放两个工具给模型,等它进入状态再慢慢解锁完整功能;或者主动切到极简模式,把所有可选配置砍到最少,才能让任务跑顺溜。还有人总结出一套专属的提示词格式,说是按这个写就能激活模型的正常水平。
当时大家以为这纯粹是玄学,没想到这些操作后来都被证明是有科学依据的,恰好跟模型的记忆缺陷对上号了。
002
字节 Seed 团队的研究员们做了一个看起来简单、结果很炸裂的实验。
他们拿 DeepSeek 自己开放出来的推理代码,让 V4 Flash 去补全一段程序。这个任务不难,正常情况下模型应该稳定输出正确结果。
但研究员们只做了一个微小的改动:往代码注释里加了几个无关紧要的等号,把上下文稍微弄长一点点,任务本身完全没变。
就这一个改动,模型立刻开始在正确答案和错误答案之间反复横跳。
更关键的是,这种跳跃不是随机的,每隔 4 个 Token,准时重复一轮,规律得像定好的闹钟,完全可以预测。等号加一个,模型稳;加两个,模型抽;加三个,又稳了;加四个,又抽。整整齐齐,一点都不含糊。
003
论文里给这个现象起了个学术名字,叫相位敏感性。
翻译成大白话就是:大鲸鱼挑食,而且挑得相当有规律。
咱们平时用 AI 都有感觉,模型注意力一般集中在提示词的头部和尾部,中间的内容容易被忽略,这叫长文本遗忘问题,早就不是新鲜事了。
但 Seed 这次发现的比这还要细致。
不只是整段提示词有盲区,就连一小块内容内部,同样的信息你调一调位置,模型可能就视而不见了。
打个比方,就像你让一个助手帮你找合同文件,他告诉你他记住了,但其实他只记得放在桌子最左边和最右边的那几份,中间那一摞他压根没留意。你把文件往中间挪一下,他就找不到了,你往边上放一下,他又能找到了。
这不叫普通健忘,这叫挑食型选择性失忆,而且失忆的频率有固定节拍,4 个 Token 一个轮回,从不迟到。
004
问题的根子,在 DeepSeek 给 V4 系列配的那套压缩方案,名字叫 CSA 加 HCA。
DeepSeek 做长上下文一直走的是高性价比路线,号称百万上下文,价格却压到竞品的几分之一。要撑起这个规模,必须对 KV 缓存做激进压缩,否则算力成本直接炸。
CSA 的逻辑说白了挺直接:每 8 个 Token 压成一个块,每隔 4 个 Token 压一次,相邻的块之间有重叠区域,保证信息不完全断开。
这套方案在设计上不能说有问题,毕竟成本确实降下去了,超高性价比也真实撑了起来。
但周期性的信息盲区,也跟着结结实实地埋进去了。
上面实验里每 4 个 Token 循环一次的规律,和这个 4 个 Token 的压缩步长,严丝合缝对上了。不是巧合,是亲生的,是架构设计直接决定的。
005
Seed 团队为了进一步确认,又搞了一个规模更大的加强版插针实验。
他们把整整 16000 对问答数据塞进 128K 的超长上下文里,让模型从这片信息海洋中找出指定答案。这种大海捞针式的测试,是目前检验长上下文能力最直接也最残酷的方法。
这回同时测了四个版本:V4 Pro 没经过后训练的 Base 基础版,以及 2026 年 8 月 13 日发布的 0813 正式版;V4 Flash 的 Base 版和正式版。
V4 Pro 的 Base 版准确率波动幅度高达 34.7%,V4 Flash 的 Base 版更夸张,直接飙到 40.23%。酣畅淋漓的大起大落,没有规律可言,用同一段话问同一个问题,你都不知道模型下一秒会给你正确答案还是一个离谱的错误。
更难绷的是,经过后训练优化的正式版里,Flash 的稳定性居然还压了 Pro 一头。
后训练本来是打补丁用的,结果 Flash 的补丁打得更实,Pro 反而还不如 Flash 稳,怪不得差评如潮了,这不是用户太苛刻,是模型本身就没准备好。
006
为了找到分块压缩为什么会导致周期性失忆,研究员们决定彻底控制变量,不用 DeepSeek 的模型了,换成千问 Qwen3-0.6B 这个小模型当干净的底座,配上不同的压缩策略,从零开始训练了一批对照模型。
结论一目了然:不用分块策略的,性能曲线稳如老狗;只要加入分块算法,周期性波动立刻冒头,而且周期长短和压缩步长完全同步,步长 4 个 Token,周期就是 4 个 Token,步长 8 个,周期就是 8 个,一眼亲生。
更有意思的发现是,模型在压缩时根本不是均匀分配注意力,它会自己找到固定的偏好模式,而且每个模型的偏好还不一样。
比如其中一个训练出来的小模型,它内部的第 14 层专注于 Token 序列的前段,第 10 层偏爱中间部分,第 9 层则独钟后段。
这么压缩下来,不管你的内容多重要,只要落在它不感兴趣的位置,它就是瞅都不瞅一眼,跟它说什么都没用。这条鲸鱼的毛病,到这儿算是真正摸清楚了。

007
这事不只是 DeepSeek 一家的问题,眼下整个行业都在搞组合压缩,各家各有套路。
Kimi-K3 用的是 KDA 加 Gated MLA,GLM-5.3-Flash 是 KDA 加 DSA 加 MLA,千问 Next 架构则换成了 QSA 加 Gated DeltaNet。
说白了,组合压缩到底怎么搞才是最优解,眼下谁都没有标准答案,都是摸着石头过河。
但有意思的是,这片技术版图,有相当一部分是 DeepSeek 一点点打下来的。MLA 是 V2 搞出来的,DSA 是 V3.2 推出的,就连千问的 QSA,论文里都明确写了是按 DSA 思路改进的。
DeepSeek 一直是跑得最猛的那个,路开得最急,翻车也最响亮。
V4 Pro 这回摔了个大跟头,但它趟出来的坑,整个行业早晚都得面对,与其等别人悄悄踩,不如 DeepSeek 先趟,起码开源出来大家都能看见,都能研究,能形成真正有价值的技术积累。
要换个闭源模型同样时神时鬼,咱能做的只有在社区里拼命讨论玄学提示词,根子在哪儿,那是人家的商业机密,跟我们没关系。
后来的 V4.1 Flash 用 CSA2 搭配跨层 KV 复用和 FP4 KV 打了补丁,稳定性改善明显,波动幅度比 V4 Pro 小了太多。2026 年 10 月 17 日推出的 V4.1-Flash-1017 版本又通过后训练进一步发力,把性价比天花板拿了回来,口碑挽回了一波。
这条鲸鱼,翻了大跟头,但没有白翻。翻一次,给自己长一个教训;开源出来,给整个行业趟一条路。
梁圣这回虽然被干成了牢梁,但账,算不上亏。


登录后才可以发布评论哦
打开小程序可以发布评论哦