要想让预训练大语言模型（LLM）获得新能力，至少需要修改多少权重？

一项最新研究给出的答案是：不到 0.05%，而且只需要将这些权重置零。模型保留下来的权重，仍然使用预训练时的数值。

来自纽约大学的研究团队及其合作者提出了 " 删除调优 "（Deletion Tuning），按照他们的实验结果，仅学习删除哪些权重，就能在可验证奖励强化学习（RLVR）、监督微调（SFT）与同策略蒸馏（OPD）这 3   类后训练范式各自测试的最大模型规模下，达到与全参数微调（FFT）相当的表现。

论文链接：https://arxiv.org/abs/2611.10866

全参数微调允许模型改变每个参数，LoRA 学习低秩更新，稀疏微调则调整选定位置上的权重数值。Deletion Tuning 将可学习的变化限制为一种选择，即哪些预训练权重应当保留，哪些应当删除。

这与通常的剪枝目标有所不同。剪枝通常希望在删除权重后，保留模型已经具备的能力，以提高推理效率。Deletion Tuning 则将删除本身作为后训练手段，检验模型能否由此获得新能力。

它学习的对象，是 transformer 模块中门控投影权重上的二值掩码。部署时，每个目标权重只有两种状态，保留预训练数值，或者置零。学习得到的掩码，就是整个适配器。

图｜Deletion Tuning 方法示意图

因此，关键在于如何选择删除位置。他们在分析中确认，性能收益来自掩码的学习，而非初始化时使用的 Wanda 先验。

在这项工作中，强化学习实验采用组相对策略优化（GRPO），同策略蒸馏实验采用自蒸馏微调（SDFT）。实验覆盖 Llama 和 Qwen 两个模型家族，以及参数规模从 5 亿至 300 亿的 8   种骨干模型，同时包含分布内与分布外评估。

在 GRPO 设置下，Deletion Tuning 在 Qwen14B 和 Qwen3-30B-A3B 混合专家模型上达到与全参数微调相当的表现。在 SDFT 设置下，对应模型为 Qwen7B。在 SFT 设置下，对应模型为 Llama3B。这些结果覆盖了推理、领域知识和工具使用任务。

图｜更大规模稠密模型与混合专家模型的结果

删除带来的变化也体现在具体问题上。在 GRPO 实验中，Deletion Tuning 能够解决一些基座模型在 128 次采样尝试中全部失败的问题。

图｜Deletion Tuning 能否解决基座模型未解决的问题

除了获得新能力之外，他们还考察了模型保留旧能力的情况。在 GRPO 能力保留实验中，Deletion Tuning 在整个训练过程中，使既有任务准确率保持在接近基座模型的水平。作为对比，全参数微调、LoRA 和随机稀疏微调的既有任务准确率最多下降了 5.4 个百分点。

图｜训练过程中的既有能力保留

在所测试的三种 Llama 模型规模上，Deletion Tuning 的前向 KL 散度也保持较低水平。他们指出，这与前向 KL 散度能够预测遗忘程度的已有研究结果一致。

二值掩码还直接改变了适配器的存储形式。Deletion Tuning 只需要记录保留与删除的选择。在三类后训练范式中，训练得到的掩码比对应的全参数微调检查点小数百至数千倍。在主要的 GRPO 对比实验中，它甚至小于秩为 1 的 LoRA 适配器。

为什么如此有限的修改，能够达到全参数微调的表现？他们进一步比较了不同方法所学权重更新的几何性质，考察稳定秩、谱漂移和主权重重叠度三项指标。在这三项指标上，Deletion Tuning 都比 LoRA 和随机稀疏微调更接近全参数微调。他们认为，这有助于解释仅靠删除也能取得相当表现的原因。

图｜权重更新的几何性质

这项方法的局限性在于训练显存开销。Deletion Tuning 在训练过程中，需要为每个被掩码覆盖的权重保留一个可学习的 logit 参数，因此其训练显存占用低于全参数微调，但高于 LoRA。

在未来工作方面，他们提出，可以将这些参数限制在一小组候选权重上，以缩小与 LoRA 的显存差距。他们还希望在连续任务上检验 Deletion Tuning 的持续学习能力，并通过比较不同任务删除的权重，定位后训练对模型造成的变化。不同任务的掩码也可能通过取并集等方式组合，在无需进一步训练的情况下合并技能。此外，他们提出，将掩码限制为 N ∶ M、按通道或分块等模式，或许能够同时实现模型适配与压缩。

更多技术细节，详见原论文。

作者：张佳怡

如需转载或投稿，请直接在本文章评论区内留言