像素与芯片 3小时前
9450美元买12张二手V100,他把15360个专家全塞进显存
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

9450 美元,12 张二手 V100,一台家用服务器。一位在 r/LocalLLM 上以 Nick Mermiges 为名发帖的律师,把自己的家庭 AI 服务器从 8 张卡扩到了 12 张,只为让一个模型的全部专家常驻显存。

据其帖子与 GitHub 记录,这台机器现在运行 DeepSeek V4.1 Flash,15360 个路由专家全部以 4 位 NVFP4 精度驻留内存,仓库说明里写明,没有任何一个专家被进一步压缩。

为什么要加第三块板?算一下显存就明白了。8 张 32GB 卡提供约 254 GiB,而仅 NVFP4 格式的专家在 40 层上就需要 278.9 GiB。12 张卡把总 HBM2 显存抬到 384 GiB,整套专家才装得下,不必再缩精度。

在此之前,他的做法是把所有专家压到 2 位精度,只把最常用的 5949 个、约 38.7% 的专家放到 NVFP4,直到槽位填满为止。

速度的来源有个前提。V100 是 2018 年的产品,Volta 芯片没有 FP4 或 FP8 张量核心,每一个 NVFP4 数值都要在软件里解包成半精度才能使用。按 Mermiges 的说法,收益来自显卡读取的字节更少,而不是算得更快;他写道,专家数值与 DeepSeek 官方发布的一致,模型其他部分则使用紧凑格式。

所有性能数字均为搭建者自报。据 Mermiges,单流代码生成最高可达 184 tokens/s;长文档的首个回答时间约为此前 8 卡方案的一半,他认为这是最主要的改进。他报告称,256K 上下文下首个代码 token 用时 58 秒,此前为 108.4 秒;32K 以上上下文的提示读取约 4500 tokens/s,第一版方案为 2200。

局限也写得很直白。按其记录,1K 上下文下代码解码快 23%,但 32K 及以上上下文看不到实质收益。读取一个 128K 文件需 28 秒,256K 文件需 185 秒;128K 下三个并行请求,代码约 360 tokens/s,法律文档约 213 tokens/s。

他还称,这台机器在单请求解码上超过已公布的 4 单元 DGX Spark 组合,代码场景领先 15% 到 45%,价格约为 3 单元 Spark 方案的一半。调优也起了作用:他把功耗上限从 150 瓦提到 175 瓦,把频率上限从 1522 MHz 降到 1452 MHz,换来净性能提升。

这件事的意义在于,2018 年的停产芯片通过软件变通,跑起了 2026 年的模型格式;这个项目也说明,预算有限的本地 AI 往往受限于内存带宽,而不是算力。它仍是一台爱好者机器,数字为自报,并非独立基准测试;按其文档,第三块板挂在一块独立的 PCIe 交换机后面,第二跳会带来延迟。

对一位在本地读长合同的律师来说,首个 token 的等待时间减半,或许值这 9450 美元的每一分。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai flash spark 芯片
相关文章
打开 ZAKER 参与讨论