DeepSeekV4 的技术报告里有 mHC，有 CSA，有 HCA，有 Muon，有 FP4 ……

唯独没有Engram。

Engram 去哪了？

这个话题一度成为网友们讨论的热点。

Engram 在今年 1 月由 DeepSeek 和北大联合开源，主要研究大模型的记忆与效率问题。

自挂上 arXiv 的那一刻起，圈子里围绕它的探讨就没有停止过…

不仅仅因为它是 V4 的前奏，而是有了 Engram，「伦敦是英国首都」这种事实，模型不用动用整个深层网络去重新推一遍，直接查就行。

不仅省显存，还能释放深层网络容量，用于更高阶的推理。

正因如此，自 1 月初论文发表以来，所有人都觉得，Engram 就是 V4 的架构地基，所有人都在盼。

以至于 V4 发表后，大家第一时间就是 command+f 去论文里找 Engram，可惜并没有。

以至于不少网友甚至觉得，没有 Engram，V4 就是不完整的。

没有 Engram，可能是 DeepSeekV4 最大的遗憾。

不过，Engram 并没有消失。随后三篇值得注意的论文接力出现：

CXL 内存池化版本：把 Engram 放进多机共享的 CXL 内存池，解决大模型多机部署的存储问题。

无冲突热层实验：对 Engram 的多头哈希优化进行了实证检验，证伪了一些直觉式改进方案。

视觉 Tiny Engram：AutoArk 团队把文本 Engram 搬到视觉模态，扩展了它的应用边界。

所以，虽然 V4 没有 Engram，但它的理念、探索和后续应用已经悄然铺开，为下一代模型打下基础。

Engram 到底是什么

把时间倒回 2026 年 1 月 12 日。

那一天，DeepSeek 联合北大放出了一篇 33 页的论文《ConditionalMemoryviaScalableLookup》。第一作者 ChengXin，北大博士生，曾经署名过 V3。最后一位作者，梁文锋。

先来一句话速通版，Engram 是给 Transformer 加的一个原生知识查表模块。能查的别算，先查一下。

团队的核心观察是，语言建模其实包含两种性质完全不同的任务，一种是需要深度动态计算的组合推理，另一种是检索静态知识。

之前的问题在于，Transformer 把这两件事混在一起做。模型识别一个实体时，得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子，「Diana，Princess of Wales」。模型要走 6 层才能把这个识别完。

前几层还在纠结「Wales 是英国的一个地区」、「Princess of Wales 是某种头衔」这些中间状态，最后一层才反应过来这是戴安娜王妃。

这种「用昂贵的运行时计算重建一个静态查找表」的活，本来可以让深层网络去干更高阶的推理。

对此，Engram 的思路相当直接，既然经典的 N-gram 模型就能用 O ( 1 ) 的时间复杂度捕获这些局部依赖，那干脆把这能力直接嵌进 Transformer。

打个比方，就像你做数学题，该用的公式不必每次从头推一遍，翻表代进去就行。Transformer 之前没这张表，只能每道题都从公理走起。Engram 等于把这张表交到模型手里。

具体做法是，在 Transformer 的第 2 层和第 15 层之间各插入一个 Engram 模块。

每个位置的输入会触发一次哈希查找，把当前 token 和前面几个 token 组成的 N-gram 映射到一个巨大的嵌入表里，直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏，但「张仲景」三个字凑一起就是固定历史人物实体了，门控就负责认出这种区别。

Engram 的定位是 MoE 之外的另一条稀疏轴。MoE 是把计算稀疏化，只激活一部分专家。Engram 是把存储稀疏化，只查一部分条目。两者互补，不冲突。

论文最核心的一段实验，是固定总参数和每 token 激活参数，然后让 MoE 专家和 Engram 记忆抢预算，得到一条 U 形曲线。

纯 MoE 不是最优解。把大约 20%-25% 的稀疏参数分给 Engram，模型 loss 达到最低点。

按这个曲线指导，团队把 Engram 扩到 27B 验证。激活参数 3.8B，训练 262B tokens，严格跟 MoE-27B 基线对齐。

结果知识密集型任务的提升符合预期 ( MMLU +3.4，CMMLU +4.0 ) ，但通用推理和代码数学的提升超出预期 ( BBH +5.0，ARC-Challenge +3.7，HumanEval +3.0，MATH +2.4 ) ，长上下文场景更夸张，Multi-Query NIAH 从 84.2% 跃升到 97.0%。

那么，为什么记忆模块还能反过来提升推理 ?

LogitLens 和 CKA 给出了答案，Engram-27B 第 5 层的表征，跟 MoE 基线第 12 层的表征最相似。

Engram 把模型的早期层从「重建静态知识」这种苦力活里解放出来，这部分网络深度被腾出来做更复杂的推理。Engram 不是新增了一块记忆，它还变相把网络加深了。

工程上。论文把一个 1000 亿参数的 Engram 表整个甩到 host DRAM，在 H800 上跑推理，8B-Dense 的吞吐损失只有 2.8%。

靠的是 Engram 索引的确定性，只取决于输入 token 序列，完全可以提前算，CPU 异步预取跟 GPU 计算重叠。

可以说，这个模块天生就不靠 HBM，只可惜如今 V4 来了，Engram 没来。

没在 v4，但在其他地方

发明者把它放在那里没动，但路上还是有人。三个月里，至少出现了三个值得说一下的工作。

把 Engram 塞进 CXL 内存池

3 月 10 日，北大、阿里云、山东英信、人大、港大联合发了一篇系统论文，《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改 Engram 本身，而是回答了一个更工程的问题，如果 Engram 真的成了下一代标配，内存放哪。

答案是 CXL 内存池化。GPU HBM 放计算权重，本地 DRAM 做二级缓存，CXL 池做三级。8 台服务器共享 4TB 内存池，XConn XC50256 交换芯片做拓扑，512GB/s 带宽。

整套集成进 SGLang，做了预取 - 计算重叠，跑下来端到端吞吐损失小于 5%。Engram 论文里那句「1000 亿嵌入表卸载 DRAM」的轻描淡写，被他们做成了 27B 和 40B 两个规模的真实测试。

结论很清楚，Engram 这种确定性寻址、可预取的负载，几乎是为 CXL 量身定做的。

一个反直觉的实验

Engram 论文上线第十一天，1 月 23 日，一个叫 TaoLin 的研究者，单作者，放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化，Engram 用多头哈希查表会有冲突，如果把高频 N-gram 用 Minimal Perfect Hash Function 完全消除冲突，模型会不会更好。

他设计了 Engram-Nine，把记忆分成无冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格 iso-parameter 控制下，无冲突设计没有稳定提升验证 loss。

route-stratified 评估还发现，训练初期热路径 ( 高频 ) loss 更低，但训练后期冷路径反过来超过热路径。

一个看上去显然的优化方向，被一个真做实验的人证伪了。

把 Engram 推到视觉 ( AutoArk/TinyEngram )

GitHub 上一个叫 AutoArk 的团队搞了 Tiny Engram。

基于 Qwen-3 完整复现文本 Engram 之后，他们做了一件论文里没做的事，把 Engram 搬到 Stable Diffusion 上。

视觉 patch 经过分层编码，底层抓纹理，中层抓部件，高层抓风格，然后整套丢进哈希查表。

跟 LoRA 比下来，达到同等效果，Engram 需要的额外参数只有 LoRA 的 15% 到 30%。连续注入多个新概念时，LoRA 会出现明显的概念退化，Engram 不会。

Engram 原本是为文本设计的。AutoArk 等于把这扇门撞开了，凡是能离散化、能哈希的模态，Engram 都能搬。

三个月里，Engram 这条路上，发明者最沉默，跟进者各自走了一步。

一个团队替它解决多机内存层级，一个独立研究者证伪了它一个看似显然的优化方向，一个开源团队把它推到了视觉。

而 deepseek-ai/Engram 这个仓库，最后一次提交还停在 1 月 14 日。

One more thing

Engram 论文的摘要结尾有一句话：

我们认为条件记忆将是下一代稀疏模型不可或缺的建模原语。

看来，这个下一代得是 V5 了，难不成会是 V4.1?

参考链接

[ 1 ] https://arxiv.org/pdf/2601.07372

[ 2 ] https://arxiv.org/pdf/2603.10087

[ 3 ] https://arxiv.org/pdf/2601.16531

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

谁会代表 2026 年的 AI？

龙虾爆火，带动一波 Agent 与衍生产品浪潮。

但真正值得长期关注的 AI 公司和产品，或许不止于此。

如果你正在做，或见证着这些变化，欢迎申报。

让更多人看见你。 https://wj.qq.com/s2/25829730/09xz/

一键关注 点亮星标

科技前沿进展每日见