Block Distillation 团队 投稿 量子位 | 公众号 QbitAI

长上下文大模型的成本，很大一块烧在 " 全注意力 " 上。

KV 状态与上下文绑定，同样的内容换了个前缀，就得从头重算——在 RAG 这类 " 反复处理重叠文档 " 的场景里，这种浪费尤其明显。

块注意力（Block attention）被视为一条出路：把输入切成互不干扰的独立块，只让最后一块做全局聚合，使各块的 KV 状态能够跨 prompt 复用。

但这种方法一直卡在两个问题上：怎么把文本切成有意义的块？怎么训练模型适应块注意力？

基于这一现状，香港中文大学林伟等团队提出 SemanticSeg 分段器与 Block Distillation 训练框架：自动分段器解决 " 文本怎么切 "，块蒸馏解决 " 模型怎么训 "。该项目已被 NIPS2026 录取。

问题：两个 " 拦路虎 "

其一，分段。现有做法多靠启发式规则（比如按换行切），几乎不通用，很容易把语义连贯的内容切断。论文实验也显示：切得不好，下游性能会明显下降。

其二，训练。免训练地 " 硬套 " 块注意力（如 Prompt Cache、Superposition Prompting）会让性能大幅下滑；此前提出的 " 块微调（block fine-tuning）" 虽然能兼顾，但算力开销大、且难以泛化到通用领域。

方法一：自动分段器

分段器以 Qwen3-4B-Instruct-2507 为骨干，接上 " 两层线性 +ReLU" 的分类头，对每个候选切点输出二分类概率；并用 " 下一个候选切点 " 的隐向量来决定当前切点是否成立。粒度可以通过 " 概率阈值 + 递归深度 " 两级旋钮控制——想切粗一点还是细一点，由使用者决定。

△先按简单规则插入候选切点，再由分段器输出二分类概率，并可通过不同阈值递归细分，从而 " 自定义 " 分段粒度。

方法二：块蒸馏（Block Distillation）

论文用 " 冻结的全注意力教师模型 " 去指导 " 块注意力学生模型 "，从而绕开块微调那套沉重的双路更新。训练每步耗时 25859.9ms，比块微调的 34941.1ms 快约 26%。框架里塞进了三个新组件：

块汇点 token（block sink tokens）。

在每个块开头重复 4 次特殊 token<|block_start|>。论文把 " 块首注意力模式异常 " 这一现象命名为 lost in block head，汇点 token 正是用来缓解它。

块 dropout。

随机挑选一部分块，让它们只在本块内做注意力，并对其余 " 未受损 " 的块施加 KL 散度损失。这样模型就能从远超 " 最后一块 " 的文本里获得训练信号，解决此前的信号稀疏问题。

token 级损失加权。

按 " 块注意力与全注意力两次前向的损失差 " 给 token 加权：对块注意力敏感的 token 加大权重，对不敏感的 token 压小权重，让训练聚焦在真正需要学的地方。

△随机让一部分块只在本块内注意力（蓝），对未受损块（橙）施加 KL 损失；最后一块始终保持全注意力。

实验结果

块微调在通用领域 " 泛化失败 "，块蒸馏则逼近全注意力。

论文先复现了此前的块微调模型：其块注意力平均分 32.82，与全注意力 40.40 有明显差距；即便换成用本文分段器切分的数据重训，缺口依旧存在——说明问题出在训练方法本身。

△块蒸馏的块注意力性能已接近甚至超过原始全注意力，而免训练的 Prompt Cache/Superposition 明显掉点。

在长对话基准 LoCoMo 上也是同样的趋势。

效率：块注意力把预填充成本压了下来。

首 token 时延（TTFT）随上下文变长，优势越来越大：8k 时从 509.2ms 降到 451.3ms；到 64k 时，从 6971.3ms 降到 3821.6ms ——省下约 3.1 秒。

△块注意力在各级上下文长度上均降低首 token 时延，且差距随长度拉大。

消融实验显示，块汇点 token、块 dropout、KL 损失与 token 加权四个部分缺一不可，去掉任一项都会在特定任务上明显掉点。

重点：它与 Loop 架构有什么关联？

论文在讨论 " 未来方向 " 时，专门写了一节 Integration with Loop Transformers（与 Loop Transformer 的融合），这是整篇工作里最值得关注的延伸判断之一。

论文的原话大意是：GPT6-Astra 的发布让 Loop Transformer 重新回到聚光灯下。相比朴素 Transformer，Loop 架构很可能带来两个变化——

计算量大幅增加，长上下文下尤其明显；

代码助手。输出的 " 思考 token" 可能大幅减少，于是计算重心转移到预填充（prefilling）阶段，这成为继续 scale 的主要瓶颈。

论文的判断是：块注意力 " 跨 prompt 复用 KV 缓存 " 的天性，恰好是缓解这一瓶颈的有力手段。换句话说，Loop 架构把成本压到了预填充上，而块注意力正好在预填充这一环做 " 按块复用、不必整体重算 "。

这条关联并非孤例：论文在同一段落引用了从 2019 到 2026 年的一整条循环 /loop 架构脉络，包括循环 Transformer 的早期工作（Dehghani 等，2019；Geiping 等，2025；Yang 等，2024）、循环模型的表达能力研究（Saunshi 等，2025）、循环语言模型（Zhu 等，2025，即 Ouro/LoopLM 一线），以及弹性深度的 Loopformer（Jeddi 等，2026）。

需要如实说明的是：这部分是论文对未来的展望与推断，并非已完成的实验结果——论文并未给出循环架构下的实测数据。但它指出的方向很清晰：若 Loop 架构成为主流，那么 " 块注意力 + 分段器 + 块蒸馏 " 这套现成的效率工箱，很可能顺理成章地成为它的基础组件。

这些技术能用在什么场景？

代码助手。

论文给了一个很直观的算例：系统提示约 15k、仓库约 30 个文件（每个约 10k）、每次检索 10 个文件、query200。传统前缀缓存只能复用系统提示，命中率约 0.13；块注意力把每个文件独立编码并分别缓存，命中率可达约 0.99。

多轮 Agent 工作流。

在以 ReAct 式循环运行的研究型 Agent 中，同一批论文会在多轮里被反复调取。全注意力下它们的状态被裹在每次都在变的大上下文里，几乎无法复用；块注意力把每篇论文编码成独立块、缓存一次即可反复取用，轮次越多收益越明显。

结论

论文把块注意力的两个卡点分别解决：轻量分段器实现 " 人类直觉对齐 " 的自动切块，用块蒸馏让块注意力在通用任务上逼近甚至超过原始全注意力，同时把训练成本降下来。在效率上，首 token 时延随上下文长度增长而持续受益。

更重要的是那条延伸线：当 Loop 架构把瓶颈推到预填充阶段时，块注意力提供了一套 " 可复用、可组合 " 的缓存机制。长上下文的成本之战，很可能就在这两条技术路线的交汇处展开。

论文标题：Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation 论文链接：https://arxiv.org/abs/2605.15913 机构：香港中文大学（CUHK）；香港城市大学（City University of Hong Kong）；腾讯（Tencent）；中国人民大学高瓴人工智能学院（Gaoling School of Artificial Intelligence, RUC）；新加坡管理大学（Singapore Management University） 作者：Shuaiyi Li、Zhisong Zhang、Yan Wang、Lei Zhu、Dongyang Ma、Chenlong Deng、Yang Deng、Wai Lam

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！