驱动之家 10小时前
显存不够傲腾凑!纯CPU跑2.8万亿参数Kimi K3:差点把主板烧了
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 11 月 9 日消息,近日一位 Reddit 网友成功在纯 CPU 环境下,跑通了月之暗面拥有 2.8 万亿参数的顶级模型 Kimi K3。

令人意想不到的是,支撑这一庞然大物运行的核心并非动辄数万元的顶级显卡,而是早已被英特尔放弃的第二代傲腾持久内存(Optane PMem 200)。

要知道 Kimi K3 作为万亿级参数的巨型模型,其运行门槛极高,即便经过极度压缩的量化处理,也至少需要 610GB 的内存空间。

在当前内存价格持续走高的背景下,通过传统 DDR4/DDR5 内存堆砌出如此容量的代价极其昂贵。但如果选择使用二手傲腾持久内存作为替代方案,其成本仅为同容量普通内存的几分之一。

在具体的硬件部署上,该玩家使用了一颗 40 核心的第三代英特尔至强可扩展处理器。核心组件是第二代傲腾持久内存 200 系列,该产品于 2020 年随第三代至强发布,单条容量可选 128GB 至 512GB。

在 App Direct 模式下,傲腾内存被直接映射为独立的持久化内存区域,让软件能更精准地控制模型张量的存放位置。

不过傲腾虽然性能强,发热量也相当夸张。这种持久内存满载时功耗很高,这位玩家郑重提醒:主动散热是硬性要求,不能省。

测试里他直接上了两台 12W 大功率涡轮风扇对着内存位猛吹。他表示,如果缺少这套强散热,傲腾释放的高温足以烤坏旁边的普通内存,严重时还会把主板插槽直接烤熔。

在实际的推理表现方面,这套系统的表现只能用慢如老牛来形容。在 1 位(1-bit)量化下,推理速度仅为 0.85 Token/ 秒,而当精度提升至 3 位量化时,速度进一步下降到 0.75 Token/ 秒。

这意味着生成一段 5 万 Token 的任务可能需要耗时 13 小时以上。这种速度对于实时对话毫无意义,但对于不追求时效性的深夜离线批处理任务,却是一种极具性价比的方案。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

kimi 英特尔 reddit
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…