无需重新训练，模型压缩实现2 比特媲美 FP16。

近日，北京大学团队提出一个直接基于已有预训练模型进行极低比特量化的通用框架——Fairy2i。

该框架通过广泛线性表示将实数模型无损转换为复数形式，再结合相位感知量化与递归残差量化，实现了在仅 2 比特的情况下，性能接近全精度模型的突破性进展。

下面是更多详细内容。

研究核心：复用真值权重与递归残差量化

众所周知，大模型在推理时，通常因其庞大的参数存储和计算需求，难以在手机、汽车等边缘设备上高效部署。

传统的量化方法在将模型压缩到极低比特（如 1-2 比特）时，常面临性能严重下降的问题，尤其是在直接复用预训练模型的情况下，难以在压缩和精度之间找到平衡。

Fairy2i 针对性地解决了这一痛点，具体表现在：

1、广义线性表示：低成本无损继承，打通实数与复数桥梁

在 " 架构 " 上，Fairy2i 通过解决实数模型如何 " 变身 " 复数模型的问题，极大地降低了训练所需的成本。

不同于 iFairy 等需要花费高昂算力从头预训练（Pre-training from scratch）的方式，Fairy2i 选择了一条更高效的 " 继承 " 之路。

团队证明了一个数学等价性：任何偶数维的实数线性层，都可以无损地重参数化为等价的 " 广义线性复数形式 "（Widely-Linear Complex Form）。

这意味着，完全可以直接加载 LLaMA 等模型的预训练权重，将其转换为复数形式，而无需改变原有的参数规模。

这种策略不仅完美避开了从零构建复数模型所需的庞大算力消耗，且在量化前保持模型的推理结果完全不变，为后续的超低比特量化提供了完美的起点。

2、相位感知量化：沿用 { ± 1, ± i} 高效编码

在 " 量化 " 上，Fairy2i 继承了 iFairy 的核心优势。

它利用单位圆上的四个四次单位根 {+1, -1, +i, -i} 作为码本，相比于实数域的二值（+1, -1）或三值（+1, 0, -1）量化，复数域的这四个点充分利用了 2-bit 的编码空间，具有更高的信息密度和更好的对称性。

3、递归残差量化：极低代价消除误差

为了进一步逼近全精度性能，团队提出了递归残差量化（Recursive Residual Quantization）  机制。

既然一次量化有误差，那就对 " 误差 " 再进行一次量化，Fairy2i 将权重表示为几个低比特项的和。

实验表明，仅需 T=2 的递归阶段（即等效 2-bit），就能大幅消除量化噪声。

另外，与 iFairy 一样，Fairy2i 在推理时同样具备" 无乘法 "的特性。

由于权重被量化为 { ± 1, ± i} 的组合，推理时的矩阵乘法被转化为简单的加法、减法和数据交换（Swap）操作。

更为精妙的是，Fairy2i 的递归残差计算是数据独立的，这意味着多个阶段的计算可以并行处理，在提升精度的同时，几乎不会增加推理延迟。

性能表现：表现强劲，性能逼近 FP16

实验结果显示，Fairy2i 在 LLaMA-2 7B 模型上取得了令人瞩目的成绩。

在语言建模能力（C4 数据集 PPL）上，Fairy2i ( 2-bit ) 取得了7.85的极低困惑度。

这一表现不仅显著优于现有的 2-bit 量化方法，甚至超越了部分 3-bit 量化模型，性能直逼全精度 FP16 水平   ( 6.63 ) 。

在下游任务（Zero-shot Accuracy）评测中，Fairy2i 同样表现强劲，其平均准确率达到了62.00%。

这一结果表明，Fairy2i 几乎填平了超低比特量化带来的性能鸿沟，与全精度模型（64.72%）仅有一步之遥，实现了在极低比特预算下的性能飞跃。

Fairy2i 的出现，不仅解决了预训练实数大模型难以高效量化的难题，还通过复数域技术充分挖掘超低比特量化的潜力，让大模型在边缘设备上的流畅运行成为可能。

值得注意的是，受限于算力资源，目前的 Fairy2i 仅使用了300 亿 ( 30B )   token 进行训练。

团队坚信，复数表示拥有尚未被完全挖掘的卓越容量。随着未来在更大规模数据集上的持续训练，Fairy2i 有望不仅匹敌，甚至在精度上彻底反超原始的全精度基座模型。

目前，相关论文已公开，这项技术或将成为大模型在边缘设备普及的关键推手。

团队特别致谢：该研究得到了九章云极 www.alayanew.com 和大湾区大学的大力支持。

论文链接：https://arxiv.org/abs/2512.02901

HuggingFace:https://huggingface.co/PKU-DS-LAB/Fairy2i-W2

GitHub: https://github.com/PKULab1806/Fairy2i-W2

modelscope:https://modelscope.cn/models/PKULab1806/Fairy2i-W2

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法！

—  完  —

我们正在招聘一名眼疾手快、关注 AI 的学术编辑实习生 

感兴趣的小伙伴欢迎关注  了解详情

点亮星标

科技前沿进展每日见