量子位 21小时前
10GB显存跑图像模型,误差从9.4%降到4.26%:魔搭开源码率可调的权重压缩方案
index.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

模型的量化,是降低大模型实际运行和部署门槛的重要手段。

常见的量化方案,通常是基于预设的固定码率(例如 4bit,8bit 等)和量化格式来进行。

但实际情况下,模型的规模可能千差万别,不同设备上的显存也各不相同,基于几个预设的量化档位,很难进行精细的匹配和调整。

针对这一问题,魔搭团队设计并开源了全新模型权重压缩方案EntroPack。它能提供模型精细调整量化码率的旋钮,让量化模型的体积实现准确可控。

EntroPack 将信息熵(entropy)纳入量化与压缩的联合设计。它能直接运行在包括 NVIDIA、AMD、ZW-PPU 等多种 GPU 设备上,量化过程无需激活校准或微调,且能支持任意码率和多种数值精度。

当前魔搭团队已经将 EntroPack 的实现完全开源,并且接入了扩散模型和大语言模型的不同开源生态。

技术原理:通过信息熵实现模型压缩大小的精确控制

在信息论中,entropy 是无损编码平均码率的理论下限,而 entropy-coding 算法可以使实际平均码率接近这一下限。基于这个启发,EntroPack 采用格量化与 entropy-coding 相结合的权重压缩方案,将码率控制问题转化为对量化结果的信息熵调控问题。整体的编解码流程如下:

编码第一步:搜索符合预算的量化尺度

在有限的显存预算(或者存储预算)下,团队希望能获取最佳的编码精度以及方式。为了达到这个目标,对于给定的任意权重矩阵,EntroPack 先按行对其进行归一化,减小不同行的幅度差异,再通过几何二分搜索在随机采样的子矩阵上找到满足预算要求的量化尺度。

给定搜索的上界和下界,每次迭代都取它们的几何平均值作为候选尺度 s。基于 s,每 8 个数值都被联合量化成一个 E8 格点,每个格点被表示为一个类别标记和八个整数符号的组合。此后,对所有格点的符号频率进行统计并建立编码概率表,就可以估计每个参数的平均存储位数bpp(bits per parameter)。

如果预估 bpp 超过预算,就增大尺度,低于预算则减小尺度,以此逐步收窄搜索区间,通过几次迭代就可以迅速找到合适的尺度:团队可以计算出,最多 12 次迭代就可以实现收敛,这使得 EntroPack 的确定编码方案阶段能迅速收敛,不会引入过多的 overhead。

编码第二步:优化量化误差与并进行熵编码

全局尺度 s 的搜索是在子矩阵上进行的,搜索完成后,就可以用 s 将整个矩阵量化为一组 E8 格点。

下一步,EntroPck 将矩阵全局尺度与每行的归一化尺度合并,再根据原始权重和初始量化格点,通过最小二乘法重新拟合每行的重建尺度,在不增加尺度存储开销的前提下,缩小权重重建误差。

如果希望进一步降低量化误差,EntroPack 还提供了逐行率失真优化算法,可以进一步在同一存储预算下进行邻域局部搜索,为不同行分配更优的量化尺度和格点。

误差优化完成后,需要将 E8 格点分成多个数据块,在 GPU 上使用 rANS 算法进行分块并行熵编码,将每块编码为压缩码流,以此得到最终的压缩矩阵。

解码:GPU 并行

通过 EntroPack 量化过的模型,在加载时可以在矩阵运算过程中,先通过对应的 entropy-decoding 恢复 E8 格点,再乘上每行的重建尺度,可得到原权重的重建值:

实际的实现中,EntroPack 为解码提供了高效的 GPU 并行实现,能够将熵解码、格点恢复和行缩放等操作,融合到同一 CUDA 内核中,省去中间符号张量的读写耗时,大幅提升 EntroPack 的解码吞吐,提高解码的效率。

性能测试:码率自由,高精度重建

对量化后模型的实际大小以及压缩引入的精度损失做对比,可以看到,相较业界其他的量化压缩方案,EntroPack 不仅能支持根据需求自由设置目标码率,而且在相近码率下,权重重建误差低于 NF4、FP8 和 INT8 等方案。以上曲线还表明,随着码率的降低,误差呈指数增长。在这样的误差曲线下,EntroPack 能充分地利用固定档位之间的存储余量,将存储预算转化为更高的量化精度。

为了对这个结果有更直观的了解,魔搭团队在 Z-Image-Turbo 模型上,对不同量化方案进行了详细对比。在相近码率下,EntroPack 在量化过程中引入的权重误差是最低的。而从运行效率来看,高效的 GPU 并行策略,也让其编解码速度远超同类熵量化方法。

实际应用场景与效果

EntroPack 是一个通用的张量压缩方案,其特性尤其适用于计算密集型的场景,在扩散模型以及自回归语言模型的低显存 LoRA 训练与推理上,都有很大的应用潜力。

探索模型低位量化的极限

传统量化方案的量化极限大多止步 4 位,EntroPack 则不必受到固定位宽的限制。在混合量化的加持下,EntroPack 将 Z-Image-Turbo 模型整体压缩至 2.3bpp,模型体积降低 7 倍,而生成图像仍保留了合理的构图和主要细节。在极限量化时,EntroPack 提供了更灵活的混合配置,模型的输入、调制等量化敏感层可以采用 3 位以上的高精度压缩以保证推理效果,而其他层则可压缩至 2bpp 左右,以减小模型体积。

紧贴显存预算的量化模型推理

在本地推理中,开发者经常遇到的问题是,在显存受限的时候,8bit 精度的模型本地跑不起来,而 4bit 特精度的模型又可能不能充分用满显存。有了 EntroPack,团队能确保有限的显存能最大限度的被充分使用。以 Qwen-Image-2.1 在 10GB 显存预算下的量化场景为例,在这个预算下,NF4 量化占用 8GB 显存,对应的权重重建误差为 9.4%。而EntroPack 则能进一步利用剩余预算:通过使用 4.8bpp 的精细量化方案,可以用接近 10GB 的显存,将重建误差降至 4.26%。从下图可以看到,相比 NF4,EntroPack 在发饰、扇子等细节上更接近 BF16 原模型的生成结果。

融入已有量化体系,实现可控压缩和高性能 GEMM 的强强联合

EntroPack 能支持任意数据类型的压缩,这使得它可以对特定精度的量化模型进行二次压缩。通过这种复合量化方案,可以在获取 FP8 和 INT8 等固定格式量化的推理加速的同时,也利用 EntroPack 来实现压缩比的精确可控。例如针对MOSS-Image 模型的量化,魔搭团队基于这一方案,将 INT8 量化权重压缩至 6bpp;同时进一步结合计算图编译来实现解码,最终能实现 MOSS-Image 单图推理加速近两倍。

低显存的 LLM 量化模型训练

对于 LLM 模型领域,在涉及大量密集型计算的场景(例如自回归 Transformers 模型的 Prefill 阶段),EntroPack 同样能有用武之地。比如在量化 LoRA 训练中,EntroPack 的应用能在相对小的 overhead 下,有效降低模型训练对于显存资源的要求。它不仅能取得媲美非量化 LoRA 的训练速度,还能通过调整压缩比,让训练显存占用精确契合不同的本地显存预算。

目前 EntroPack 已接入训练与部署框架 ms-swift,在 Qwen3.8-27B 的 LaTeX OCR 微调场景中,EntroPack 的多个码率配置与 NF4 呈现相近的训练损失收敛曲线。其中,2bpp 配置将模型大小从 NF4 的 16.7GB 降至 10.57GB,单卡训练显存峰值从 25GB 降至 19GB,成功实现了 24GB 消费级显卡上的大模型微调。

结语

EntroPack 方案走出了一条全新的、不依赖于固定格式的大模型量化路线。目前 EntroPack 的详细实现以及技术报告均已经开源。同时作为配套,魔搭团队还同步开源了基于 EntroPack 精细量化的 MOSS-Image、Qwen-Image-2.1、MiniMax-H3-Image、MiniMax-H3、Z-Image-Turbo、flux-3-image-klein 等模型权重,包含多种码率及 INT8 二次压缩版本,支持根据显存预算进行自主选择。

除了在本文讨论的应用场景,作为一种通用的矩阵压缩方法,EntroPack 在生成式大模型量化中同样具有很大的应用潜力,包括在 KV Cache 压缩等扩展领域的应用也值得进一步探索。

开源项目代码:https://github.com/modelscope/entropack

技术论文:https://arxiv.org/abs/2609.34185

使用文档:https://entropackdoc.readthedocs.io/zh-cn/latest/

预量化权重:https://www.modelscope.cn/collections/DiffSynth-Studio/EntroPack-Quantized-Models

扩散模型的推理与训练支持:https://github.com/modelscope/DiffSynth-Studio

大语言模型的量化训练支持:https://github.com/modelscope/ms-swift

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—  完  —

【学术投稿】请在工作日发送邮件至:ai@qbitai.com,标题注明【投稿】,并告诉我们:你是谁,从哪来,投稿内容附上项目 / 主页链接,以及联系方式。

  我们会 ( 尽量 ) 及时回复你 : )

点亮星标

科技前沿进展每日见

评论
大家都在看