17 岁高中生，以一作身份，在 Kimi 团队把 Ilya 提出的设想，变成了现实。

Ilya 之前有个预言，把按时间先后顺序处理数据的 LSTM 网络 " 旋转 90 度 "，也就是把时间轴换成模型深度轴，就变成了现在的残差网络。

Kimi 团队认为，既然时间上的 LSTM 能对应深度上的残差，那后来淘汰了 LSTM 的 " 注意力机制 " 自然也可以照做。

他们新搞出的 Attention Residuals 技术，就相当于把注意力机制也 " 旋转了 90 度 "。

用了这套新方法后，模型在计算当前层时可以聪明地 " 回头看 "，根据需要自由决定去提取前面哪一层的信息。

这篇论文让马斯克也来围观，表示令人印象深刻。

除了马斯克，这篇论文也引发了大神 Karpathy 的思考，直言我们对 Attention is All You Need 这篇 Transformer 开山之作的理解还是不够。

这种新机制放到 Kimi 自家的 Kimi Linear 48B 大模型（3B 激活参数）上验证，训练效率提升 25%，推理延迟增加不到 2%。

残差连接的 " 记忆负担 "

先回顾一下残差连接的工作原理。

传统做法是：第 N 层的输出 = 第 N 层的计算结果 + 第 N-1 层的输出。这样一路累加下去，每一层都能 " 记住 " 前面所有层的信息。

问题来了，在大模型 PreNorm 主流范式下，残差连接中所有层的贡献都是等权累加。

就像一个 " 记忆力太好的人 "，把所有经历都以相同权重存进大脑。贡献被逐步稀释，早期信息难以检索，且大量层可被剪枝而损失微小，称之为 "PreNorm dilution problem"。

更麻烦的是，隐藏状态的范数会随着深度不断增长。研究人员发现，在深层网络中，这种 unbounded growth 会导致训练不稳定。

月之暗面团队换了个思路：既然问题出在 " 无差别累加 "，那就让网络自己决定该回忆什么。

用注意力 " 选择性回忆 "

团队观察到一个有趣的对偶性：网络的深度维度和序列的时间维度，本质上是同构的。

在 Transformer 处理序列时，用注意力机制让当前位置 " 选择性关注 " 之前的位置。那么在深度维度上，为什么不能让当前层 " 选择性关注 " 之前的层？

Attention Residuals 就这么来的：

当前层的可学习伪查询向量作为 query（learnable pseudo-query）

所有前层的输出作为 key 和 value

用注意力机制加权聚合

这样一来，网络可以学会哪些层的信息对当前计算最重要，就多关注一点；不相关的层，权重自然降低。

但这带来一个新问题：计算量爆炸。

如果一个 100 层的网络，每一层都要对前面 99 层做 full attention residual，复杂度是 O ( L ² ) ，根本跑不动。

Block AttnRes：分块压缩

论文中的解决方案是 Block AttnRes。

核心思想是把连续的若干层打包成一个 block，对 block 内部的输出做压缩，只保留一个 " 摘要向量 "。

具体操作如下：

把 L 层网络分成 B 个 block，每个 block 包含若干层

每个 block 结束时，把 block 内的信息压缩成单个向量

后续层做 attention 时，只需要关注块间表征 + 块内实时层输出，而非全部 L 个层

这样一来，attention 的复杂度从 O ( L ² ) 降到了 O ( L · B ) ，在实践中 B 可以设得很小（论文用的是 8-16）。

此外，团队还做了数个工程优化：缓存式流水线通信、序列分片预填充、KV 缓存粒度优化等等。

Kimi Linear 验证：1.25 倍效率提升

理论说得通，但真正让人信服的是大规模验证。

团队在自家的 Kimi Linear 架构上做了测试。这是一个采用线性注意力的大模型，总参数 48B，激活参数 3B（MoE 架构）。

同等计算预算下，Attention Residuals 能获得更好的下游性能；反过来说，达到相同性能需要的训练计算量减少了约 20%，相当于获得了 1.25 倍的效率优势。

在具体任务上，数学推理（MATH、GSM8K）、代码生成（HumanEval、MBPP）均持平或略优，多语言理解的一致性也有所改善。

更重要的是，Attention Residuals 是一个 drop-in replacement，不需要修改网络其他部分，直接替换残差连接即可。

论文里还讲到一个有意思的视角。

团队把这项工作称为 " 时间 - 深度对偶性 "（time-depth duality）的应用。

在他们看来，深度神经网络的 " 层 " 和循环神经网络的 " 时间步 "，本质上是都是对信息的迭代处理。

Transformer 之所以成功，是因为用 attention 替代了 RNN 中固定的 recurrence。

那么在深度维度上，是不是也该用 attention 替代固定的 residual？

17 岁高中生入列共同一作

更有意思的是，这篇让马斯克、Karpathy 等人都为之一震的论文，共同一作之一是一名年仅 17 岁的高中生——陈广宇（Nathan）。

另外两名共同一作，分别是 Kimi 的关键人物之一、RoPE（旋转位置编码）的提出者苏神（苏剑林），以及 Kimi Linear 的第一作者张宇。

诚然 Attention Residuals 是团队协作取得的成果，但一名高中生出现在这样的团队之中，还与两位大神共列一作，已经足够震撼。

a16z 创始人 Marc Andreessen、Thinking Machines 的联创等人都关注了他的 X 账号。

一年前才刚刚开始了解大模型的陈广宇，是从北京的一场黑客松开始，一路走向硅谷的。

后来回国时，他选择加入了 Kimi。

经手过月之暗面投资的奇绩创坛（原 YC 中国）创始成员董科含，也曾在其个人公众号上刊载过陈广宇的一份自传。

去年二月，北京的一场中学生黑客松上，陈广宇展示了一个关于 " 人类第三只机械辅助手 " 的创新构想—— ThirdArm。

也正是这个项目，让他结识了黑客松评委董科含，后者也成为了他的创业导师。

当时，董科含追问他，未来是否会深耕这项技术，这促使他开始重新审视自己的职业方向。

随后他入选了董科含发起的只有极少数人入选的青年计划，开始接触 IOI（国际信息学奥林匹克）金牌得主及资深科研人员。

此前他曾尝试经营 Shopify 跨境电商店铺、运营短视频账号，但经过董科含的建议，他决定转向理解时代的底层技术。

当时还不知道 Transformer 是什么的他，在 DeepSeek 研究员袁境阳的指导下，利用 Gemini 作为辅助工具，通过研读经典论文、追踪 GitHub 开源项目等方式逐步建立认知。

有一次他在推特上分享了对一篇博客的反思后，获得了作者的回复，这篇帖子也因此引起了一家硅谷 AI 初创公司 CEO 的关注。

该公司于 2024 年底成立，2025 年初完成了 800 万美元种子轮融资，资方背景涉及 OpenAI 与 Anthropic。

在通过一项限时通宵完成的实验测试后，他拿到了对方的录用通知。

暑假期间，他前往旧金山开启了为期七周的实习。其中前两周，他负责定义并推进一个涉及 144 张 H100 显卡的探索性项目。

在 CEO 直接指导下，他的工作延伸至运营层面，参与了招聘系统搭建、技术内容输出及融资策略讨论，并获得与早期投资者 Vinod Khosla 交流的机会。

在硅谷期间，他维持着高强度工作节奏，通过咖啡社交与英伟达工程师及初创创始人建立联系。这次经历让他将科研视为一种支撑创造的底层能力。

实习结束后，陈广宇回到国内，并于去年 11 月加入月之暗面。

把他吸引进去的，正是 Kimi 一直做的 Flash Linear Attention 这一类高效 attention 工作。

实际上，正是 GitHub 上的 FLA 项目，吸引了他对机器学习的兴趣并被邀请加入 Kimi 团队。

也正是顺着这条线，他开始一路往更底层钻，从读论文、看实现，到研究 Triton kernel、理解 attention 为什么能被这样重写、这样加速。

到了月之暗面，这条路也算是绕了一圈又落回原点——

他最初是被底层技术吸引，最后做的也正是最底层、最核心的那部分事。

相比于讲一个 " 少年天才一路开挂 " 的故事，陈广宇的经历更像是另一种成长路径——

先被时代最前沿的技术击中，再一步步把兴趣磨成能力，把能力带到真正的大模型研发现场里。

论文地址：

https://github.com/MoonshotAI/Attention-Residuals/

参考链接：

[ 1 ] https://mp.weixin.qq.com/s/gRR99pEDWb5qsk2a2hwe2w

[ 2 ] https://nathanchen.me/public/About%20me.html

—  欢迎 AI 产品从业者共建  —

「AI 产品知识库」是量子位智库基于长期产品库追踪和用户行为数据推出的飞书知识库，旨在成为 AI 行业从业者、投资者、研究者的核心信息枢纽与决策支持平台。

一键关注 点亮星标

科技前沿进展每日见