原文翻译：

关于 Scaling Law 的一些思考

Scaling，但不只是扩大参数量。

如今，每次模型发布之后，大家都会问同一个问题：有多少参数？

但这个问题不能单独回答。

参数量只有和另外三个因素放在一起才有意义：你有多少训练数据、准备将算力花在哪里，以及最终由谁、在什么条件下运行这个模型。

这个领域曾经为此交过学费。

Kaplan 等人在 2020 年提出的 Scaling Law 认为，相比数据量，模型参数应该增长得更快，两者大约按 2.7:1 的比例扩展。整个行业随后基本沿着这一方向前进，GPT-3、Gopher、MT-NLG 等大模型相继出现。

但 Hoffmann 等人在 2022 年重新进行了实验，测试了约 400 个模型，最终发现：在计算量最优的情况下，更合理的比例接近每个参数对应 20 个 Token；而且当算力不断增加时，参数量和训练数据量应该以大致相同的速度增长，而不是逐渐拉开差距。

早期拟合中的误差，会随着计算规模每增加一个数量级而不断被放大。这也解释了为什么当时规模最大的模型，反而存在最严重的资源配置失衡。

回头来看，当年的 " 万亿参数竞赛 " 更像是整个行业共同走过的一段弯路，后来大家又一起掉头。

但 Chinchilla 也不是 Scaling Law 的终点。

Chinchilla 优化的是模型训练阶段的算力分配，默认模型训练一次，然后进行评测。但今天，一个模型每天可能被调用数十亿次，整个生命周期中，推理成本已经占据主导地位。

如果将推理成本也加入优化目标，最优方案就会转向：模型做得更小，但训练时间更长，也就是有意进行 " 过度训练 "。

Llama-2-7B 和 Gemma-2-9B 就已经在这么做，它们每个参数对应的训练 Token 数分别大约达到 290 和 889。

稀疏模型的出现，又一次改变了这个问题。

对于 MoE 模型，需要明确区分两个指标。

总参数量大致决定模型能够 " 装下多少东西 "，包括知识、事实以及大量长尾信息；而实际激活的参数量和有效计算深度，则大致决定模型 " 能够想多远 "，也就是能够连续完成多少步因果推理，而不会在中途丢失逻辑链条。

因此，稠密模型中常说的 20:1 Token/ 参数比例，并不能直接套用到 MoE 模型上。

事实上，这个比例本身也不存在一个统一答案。

Roberts 等人在 2025 年的研究发现，最优 Token/ 参数比例与具体任务有关：记忆型任务更偏向增加参数，而推理型任务更偏向增加训练数据。

后续针对 MoE 的研究也观察到，在固定 TPP（Tokens Per Parameter，每参数 Token 数）的情况下，一味增加总参数量，反而可能降低推理能力；相比之下，增加实际激活的专家数量，则能够更稳定地提升推理表现。

这与我们正在构建的模型方向直接相关。

发现一个漏洞，并不是一个信息检索问题。

它并不是因为模型记住了更多 CVE 漏洞编号，而是因为模型能够完整走完一条长达 20 步的推理链，并且在整个过程中始终保持逻辑连续，不丢失关键线索。

这种能力并不存在于 " 总参数量 " 本身。

这也就引出了这次 GLM-5.3 的发布。

总参数量似乎只在达到某个门槛之前非常重要 —— 模型首先需要足够大的容量，能够 " 装下这个世界 "。

一旦超过这一门槛，进一步提升能力，就需要从其他地方寻找 Scaling 空间：例如增加单次前向计算的有效深度，以及更重要的，扩大后训练规模。

GLM-5.3，就是我们针对这一判断进行的一次受控实验。

它与 GLM-5.2 使用完全相同的基础模型、相同的架构，总参数量和激活参数量也完全相同。

我们只做了一件事：用一个月时间，持续扩大长周期任务环境以及强化学习（RL）训练规模。

最终取得的提升并不是微不足道的。

所以，Scaling 从来不只有一个旋钮。

这一次，我们选择拧动 " 后训练 " 这个旋钮，是因为它还有最大的提升空间，而不是因为其他方向已经走到尽头。

基础模型规模、预训练数据量，以及每次前向计算投入的算力，都仍然存在继续扩展的空间，我们之后还会重新回到这些方向。

这次实验真正告诉我们的是：这些 Scaling 的旋钮并不需要同时转动。

而且，下一步最值得扩展的方向，往往并不是上一次最值得扩展的那个方向。

我们的 Scaling 还没有结束。

下一次，也许会轮到中期训练、预训练，甚至更多。

云头条声明：如以上内容有误或侵犯到你公司、机构、单位或个人权益，请联系我们说明理由，我们会配合，无条件删除处理。