Kimi K3 开源后，网上讨论在本地部署运行的帖子好多（链接 1、链接 2、链接 3 ）。

①

7 月 29 日 21:51，Unsloth 放出重磅成果，Kimi K3 终于可以本地离线运行。

K3 作为月之暗面开源的 2.8T 参数 MoE 大模型，原版权重足足 1.56TB，普通机器碰都碰不了。

Unsloth 用自研动态量化技术，把模型压到 594GB，体积直接砍掉 62%，还保住 78.9% 的推理精度；如果选择 2bit 版本，精度能提升至 90%，文件大小 861GB。

②

不少人看到推文说 128G 内存 Mac Studio 就能跑，这里要划重点：能加载≠流畅跑。128G 内存只能靠虚拟内存硬撑，推理速度会非常慢。想要正常使用，硬件门槛依旧很高。

和普通静态量化不一样，这套动态方案会区别对待模型权重，核心层保留更高精度。普通 1bit 量化效果崩盘，这套经过精细校准的方案，才能保证模型可用。

目前 GGUF 模型已经上传 Hugging Face，支持 llama.cpp 离线部署。

https://huggingface.co/unsloth/Kimi-K3-GGUF

③

这次突破最大价值，是证明万亿参数级顶尖开源模型，有机会走出云端，走向私有化离线场景。

原贴留言区，除了夸赞的话，还有不少人许愿，让他们继续努力压缩模型，哈哈哈。

参考：x.com/UnslothAI/status/2082463988953367031

（参考：X，本文经由 AI 优化）