新浪财经 06-12
蚂蚁技术研究院李建国:扩散语言模型或成LLM新方向,生成速度可达传统模型4倍以上
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

来源:睿见 Economy

6 月 12 日至 13 日,2026 第八届北京智源大会在北京中关村国际创新中心举行。蚂蚁技术研究院深度学习实验室负责人李建国出席并演讲。

李建国表示,扩散模型或将成为语言模型下一阶段的重要发展方向和补充,其在生成速度和可编辑性方面展现出显著优势。

他解释到,扩散模型在图像生成领域已是主流范式,应用非常广泛。正向过程是通过对图像逐步添加噪声直至变为白噪声,反向过程是从白噪声中逐步去噪,恢复出原始图像。

而在语言领域,当前主流范式是 "Next Token Prediction"。" 就像打字机一样,我前面打出一个字,后面接着就依赖前面去产生下一个字。扩散语言模型则将图像领域的范式迁移到语言中,可以像印刷机一样批量、成批地输出词元。"

李建国以今年 2 月发布的 LLaDA 2.1 模型(可编辑扩散生成)与蚂蚁百灵 2.0 模型(100B 参数)对比为例。LLaDA 的生成速度约为 1000 token/ 秒,而百灵 2.0 约为 200 token/ 秒,速度相差 4 倍以上。

他指出,从核心特性看,有两个速度,一个是传统的 AR 模型,一次只输出一个 token,即使采用投机采样方法(如 MTP)也只能做到 2-3 个。另外一个速度,就是扩散语言模型,起步平均能做到 5-6 个,在代码生成、智能体等场景中,实际观察可超过 10 个,最高可达 15 个。

此外,扩散语言模型的另一个重要特性是可改写性。例如在生成过程中某个字出现错误,可以通过 " 悔改 " 机制只修改错误的那一个位置,而无需重新生成整个序列。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论