量子位 11小时前
8B连续扩散模型在数学上反超了离散扩散!MATH 62.12分居首
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

大语言模型生成文本,并不只有 " 从左往右单向蹦字 " 这一条路。

相比自回归模型与离散扩散,连续扩散(Continuous Diffusion)将词映射到连续嵌入空间中迭代去噪,天然具备双向上下文规划与细粒度语义演化的独特优势。

然而,一旦扩展到大模型规模,连续扩散的生成质量却长期落后于离散扩散。

针对这一问题,北京智源人工智能研究院、北京邮电大学与北京大学联合团队提出了全新框架LLaCO。

团队从 Embedding 空间的本征几何规律出发,在数学上揭示了连续加噪过程中词与词之间的竞争理论,并以此为基石,设计了球面加噪机制与语义时间调度策略。

在 8B 规模下,LLaCO 在 9 项核心基准测试上全面超越以往所有连续扩散模型;在数学推理基准 MATH 上,LLaCO 更是领先离散扩散模型 Dream-7B  10.92 分。

目前,LLaCO 的技术报告与项目主页已发布,相关代码与模型权重也已开源。

△LLaCO-8B 与同规模连续扩散模型在 9 项基准上的准确率对比。LLaCO:以理论洞察为引构建连续扩散模型

在连续扩散中,中间状态还保留着多少源 Token 的语义身份,直接决定了模型每一步的去噪目标。因此,要想设计出科学的加噪与采样方案,关键在于讲清 Token 身份是如何衰减的。

团队的技术路线分为两步:首先推导出 " 源 Token 什么时候会被竞争词反超 " 以及 " 身份衰减集中发生在哪个阶段 ";随后基于这些理论,针对性改造预训练模型的加噪轨迹、时间步调度与输入方式。

竞争阈值理论:高维正交性让反超极难发生

判断一个中间状态还 " 像不像 " 源 Token,最直接的方法是看它在全体词表中的相似度排名。但如果沿用传统的欧氏距离来排序,就会出现严重的失真:随着加噪过程中向量模长的衰减,模长偏小的词在没有噪声扰动时也会排到前面。使用这种与语义无关的" 虚假反超 "分析 Token 身份的衰减,会带来错误的结论。

因此,Token 之间的竞争必须在方向空间中进行度量。只有当噪声的有效投影强度超过了候选词与源词之间的语义间隙,真正的反超才会发生——团队将这一规律描述为竞争阈值理论。进一步结合真实语言模型的几何先验,高维空间中的 Token 几乎两两正交,彼此在方向上相距甚远。这意味着反超需要异常极端的噪声:在 4096 维的表征空间中,即便噪声达到信号的 11 倍,也只有约 10% 的源 Token 会丢掉第一名。换句话说,在高维空间中,除非被逼入接近纯噪声的极深区域,一个 Token 很难被真正 " 认错 "。

△连续加噪轨迹上的 Token 身份衰减。 ( a ) 欧氏距离解码比按方向排序更早出现虚假反超; ( b ) ( c ) 无论是线性轨迹还是球面插值轨迹,身份衰减都集中在接近纯噪声的窄窗口内; ( d ) 随着噪声增大,丢掉第一名的源 Token 比例。语义保持调度:把训练与采样预算砸向剧变期

这种极高的反超门槛,直接导致了严重的 " 时间压缩 " 现象:在标准加噪轨迹中,源 Token 的身份衰减被压缩在接近纯噪声终点的狭窄窗口内。这导致传统加噪方案把 90% 以上的训练预算白白浪费在源词身份几乎不变的前期,而在真正发生剧烈竞争的质变阶段,模型反而处于严重欠拟合状态。

好在理论同时证明,反超阈值独立于时间步调度。这就意味着,完全可以按照 Token 身份真实的衰减进度重新分配时间步,把计算预算分配到身份真正发生变化的关键区间。

为了度量这一进度,团队审视了现有的评估指标。只看第一名的 Top-1 保持率在源词首次被反超后直接归零,丢失了后续所有动态;而按比例统计所有反超的线性保持率,又会被庞大词表的长尾严重稀释,对最关键的前排排名变化不够敏感。为此,团队提出了对数排名保持率(Qlog),在对数尺度上衡量排名下滑,放大前排排名的变化。在真实预训练嵌入上,无需任何参数拟合,该理论预测曲线与实测数据高度重合,关键位置的误差在 2% 以内。

以 "language" 为例,标准线性加噪下,它的排名下滑几乎全部挤在最后约 9% 的步数里;按对数排名保持率重新分配步数后,下滑过程被摊开到约 90% 的加噪进程中。

△对词 "language" 加噪时的动态过程对比(纵轴为源 Token 的排名)。在标准线性加噪下(左),整个排名下滑过程被压缩在最后约 9% 的步数内;LLaCO 按对数排名保持率重新分配步数后(右),排名下滑分布在约 90% 的加噪进程中。从理论到模型:LLaCO 的三项设计

理论讲清之后,下一步是把这些结论真正落到模型上。

LLaCO 没有从零训练连续扩散模型,而是在离散扩散模型的基础上进行改造。要让改造真正有效,需要解决三个问题:加噪时如何避开虚假反超,训练和采样步数该怎么分配,模型如何读懂连续状态。对应到结构上,主要包含以下三项设计。

△LLaCO 整体框架。 ( a ) 通过方向适配器与时间步调制适配离散扩散模型; ( b ) 沿球面插值轨迹向 [ MASK ] 偏置终点加噪; ( c ) 利用对数排名保持率在训练和推理中重新分配时间步。单位球面加噪:消除虚假反超干扰

LLaCO 将加噪过程约束在单位超球面上,保持状态范数恒定,让词与词之间的竞争完全由语义方向决定,规避范数衰减带来的虚假反超现象。同时,加噪终点还融入了离散扩散中 [ MASK ] 语义锚点,让模型继承离散扩散模型强大的上下文先验。

语义时间调度:聚焦身份变化关键区

高维语义空间存在严重的 " 时间压缩 " 现象:在加噪的大部分时间里,源词一直稳居榜首,真正的排名转变仅发生在极窄的窗口内。LLaCO 据此提出了基于对数排名衰减的语义时间调度机制。通过语义时间调度,可以识别出源词身份正在快速丧失的 " 剧变期 ",并将训练与推理预算集中于此,提升训练与采样效率。

连续扩散适配:无缝激活基座大模型

离散扩散模型天然习惯处理确切的离散词向量,难以理解扩散过程中的连续状态。为此,LLaCO 设计了轻量级的方向适配器,将球面上的连续状态对齐到离散词表空间;同时搭配 " 时间步自适应层 " 注入动态去噪步长,赋予模型连续去噪感知能力,实现了高质量的平滑生成。

实验效果

团队在 8B 规模上,将 LLaCO 与同规模的连续扩散模型 TESS-2、DSL-LLaDA,以及离散扩散模型 LLaDA-8B、LLaDA-1.5-8B、Dream-7B 进行了对比。

△LLaCO-8B 与同规模离散扩散、连续扩散模型的整体性能对比及消融实验。全面超越同规模连续扩散模型

LLaCO-8B 在全部 9 项基准上都超过 TESS-2 和 DSL-LLaDA,其中数学和代码上的优势最大。相比最强的连续扩散模型,它在 GSM8K 上提升 55.34 分,在 MATH 上提升 47.02 分,在 HumanEval 上提升 27.44 分。

同规模离散扩散模型正面较量

与 LLaDA-8B、LLaDA-1.5-8B 和 Dream-7B 相比,LLaCO-8B 在 MMLU、GPQA 和 GSM8K 上取得领先;MATH 更是以 62.12 分位列所有对比模型第一。

论文标题:LLaCO: Continuous Diffusion for Large Language Models with Competition-Aware Semantic Scheduling

作者:Zijian Jia*、Peixuan Zhang*、Genying Li、Di Wu、Yujie Fu、Si Li、Boxin Shi、Shuchen Weng(* 为共同第一作者)

作者单位:北京智源人工智能研究院、北京邮电大学、北京大学

项目主页:https://escapistmost.github.io/LLaCO/

技术报告:https://arxiv.org/html/2610.32604v1

代码链接:https://github.com/WhenGIX/LLaCO

模型权重:https://huggingface.co/escapist413/LLaCO-8B

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—  完  —

【学术投稿】请在工作日发送邮件至:ai@qbitai.com,标题注明【投稿】,并告诉我们:你是谁,从哪来,投稿内容附上项目 / 主页链接,以及联系方式。

  我们会 ( 尽量 ) 及时回复你 : )

点亮星标

科技前沿进展每日见

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

北京大学 人工智能 规律 北京邮电大学 北京
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…