IT之家 12小时前
不用显卡:玩家靠停产傲腾内存跑起2.8万亿参数Kimi K3 AI模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 11 月 13 日消息,网友 u/IndividualSurvival 于 11 月 2 日在 Reddit 社区发帖,分享了一项家庭实验室尝试,在不配备显卡的情况下,使用已停产的英特尔傲腾持久内存,成功运行 2.8 万亿参数的月之暗面 Kimi K3 模型。

IT 之家注:" 傲腾 "(Intel Optane)是一套基于 3D XPoint 的内存与存储产品技术,是英特尔与美光共同开发的非易失性存储技术。该网友使用傲腾持久内存 200 系列,外形和安装方式接近服务器内存条,单条提供 128GB、256GB 和 512GB 三种容量,针对第三代至强可扩展处理器平台设计。

在配置方面,该网友使用 40 核第三代英特尔至强可扩展处理器(原文并未明确具体规格),以及傲腾持久内存 200 系列(原文并未明确具体容量),并使用 App Direct 模式(DRAM 和傲腾作为两个独立的数据空间呈现给软件)测试,并使用 llama.cpp 软件执行推理。

不过该项目依然只是测试项目,词元(Token)输出速度方面并不流畅。报道显示,采用 1 比特量化、压缩模型数据后,初始生成速度约为每秒 0.85 个词元;关闭直接访问功能 DAX、让常用数据受益于 DRAM 缓存后,速度提升至每秒 1.50 个词元。另一项 3 比特量化测试仅达到每秒 0.75 个词元,生成 5 万个词元约需 18.5 小时。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

英特尔 it之家 reddit kimi intel
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…