雷科技 02-16
太牛了!我用400块的“洋垃圾”,跑通了DeepSeek!
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

在我看来,2025 年绝对能称得上是中文大模型的颠覆之年。

DeepSeek 的横空出世,不仅打破了英伟达主导的 " 算力决定一切 " 的刻板印象,也打破了美国在大模型领域的长期主导地位,甚至一度挑起了全球大模型领域的价格战,让更多的人能够体验到大模型带来的乐趣。

至少从抖音、快手上的反应来看,对普罗大众而言,DeepSeek 的出现确实把 " 人工智能 " 这样一个遥不可及的概念带到了人们身边。

哪怕是我这个浸淫大模型两年半的雷科技练习生,在过年期间不仅没少给身边的父母亲戚介绍这 DeepSeek 到底是什么,自己也是时不时就拿起手机来玩一下,没办法,能在不要钱的基础上提供这种问答质量的中文大模型,目前也就 DeepSeek 能做到了。

要说有什么问题嘛,还得是这服务器的问题了。

特别是我这边发出请求,然后看着 DeepSeek 在那里转个半天,最终却只能憋出个" 服务器繁忙,请稍后再试 "的时候,那种挫败感是真的难受,让人迫切想要在本地部署一个属于自己的 DeepSeek 推理模型。

问题就出在成本上,按照常理来说,想要购入一台能在本地运行大模型的设备,那要不就是售价在 5000 元以上的 AI PC 笔记本,要不就得自己着手去装配一台搭载独立显卡的整机,不管哪个选择对普通消费者来说都不够友好。

不过将预算压缩到极致,然后搭配出一套「能用」的主机,正是每一位 DIY 玩家的终极乐趣,而这给我带来的挑战就是,如果真的想弄一台可以本地运行 DeepSeek 模型的电脑,到底需要多少钱?

我的答案是,400 元。

尽管近期正经的内存和硬盘有价格上涨的趋势,但是在洋垃圾这边其实价格变化倒是不大,甚至一批早年的洋垃圾 CPU 和矿卡 GPU 还有价格下跌的趋势。在如今大模型潮流席卷而来的背景下,我甚至不准备拘泥于办公影音需求,决定挑战一下用四百块钱的预算,试着去打造出一套性价比颇高的入门级本地大模型主机。

至于具体应该怎么操作,最终成效是否如意,跟着我一起看下去自然就知道了。

1 越陈越香的洋垃圾

既然说了要在 400 块内搞定,那么如何在尽量低的价钱内完成整机的装配就变得至关重要了。

在 CPU 的选择上,我直接从 PDD 上捡了一颗Intel® Core™i3-4170,售价 22 元。

该处理器为二核四线程,3.7GHz 主频,没有睿频能力,具备 3MB 智能缓存,采用 22nm 制程工艺的 Haswell 架构,而它最大的特点就是拥有一颗 HD4400 核显,这也是我选择它的关键。

(图源:PDD)

俗话说得好,低价 U 配低价板嘛。

所以主板的话,我就选择购入了一块铭瑄 MS-H81M Turbo,只有两根 DDR3 内存插槽不说,甚至都没有 HDMI 输出接口,也没有 M2 硬盘位,USB 3.0、SATA III 接口都只有两个,但是它在 PDD 上面只要 79 块钱。

这加起来仅需 100 左右的板 U 套装,性价比放在今时今日也是出类拔萃的。

(图源:雷科技)

这种 CPU,散热就不用太担心了。

PDD 上面 14.9 包邮寄过来的双热管风冷散热器,虽然外观上是丑了一点,简陋了一点,但是用来压我这一套超低价配置肯定是绰绰有余了。

(图源:雷科技)

至于显卡嘛,近期闲鱼上面流出了一大堆 P106-090 和 P106-100 矿卡,其中前者的价格普遍在 70 块钱左右,后者的价格普遍在 120-140 块钱左右。

两者之间最大的差别在显存上,P106-090 仅有 3GB 显存,而 P106-100 则有 6GB 显存,尽管我这次的初衷并不是为了游戏而来,但是更高的显存规格确实可以运行更高效的本地大模型,所以我最终还是拿下了一张技嘉的 P106-100,售价 130 元。

(图源:雷科技)

最后,给它简单配上两根杂牌 DDR3 内存,组成内存双通道,用一个 300W 长城电源供电,一块 120GB SATA SSD 做系统盘,用上次装机剩下来的大水牛硅脂凑合凑合,最后再配上个 20 块钱的电脑城小机箱 ...

完成!请欣赏一下我用四百元装机的成果吧。

(图源:雷科技)

然后是我给出的参考价格表,感兴趣的大伙也可以试着照这张表格上的配置自己配一下,总之价格上不会差太多。

你要是更追求性价比的话,甚至把机箱换鞋盒也不是什么大问题。

(图源:雷科技)

装机完成,点亮主机!

先做个简单的性能测试,作为多年服役的老将,Intel® Core™i3-4170 的性能也就那样,即便是在用 TrottlesStop 解锁功耗的情况下,也就差不多相当于移动端酷睿六代、酷睿七代处理器的水平。

(图源:雷科技)

在实测环节中,CPU-Z 测试单核跑分有 373.4 分,多核跑分有 1025.2 分,在 CINEBENCH 测试标准下,CINEBENCH R20 多核 824cb、单核 346cb,CINEBENCH R23 多核 1914cb、单核 905cb。

亮眼肯定是不够亮眼,但是拿来日常办公、轻度娱乐倒是够了。

(图源:雷科技)

再看看 GPU 部分,我手上这张技嘉 P106-100 采用 16nm 工艺打造,显卡核心为 GP106,核心频率为 1506MHz,可提升到 1709MHz,具有 1280 个着色单元,支持 DirectX12,显存规格为 6144MB/192Bit GDDR5 内存,显存频率可达 2002MHz。

在测评 DX11 性能的 Fire Strike 测试中,P106-100 在 Extreme 测试中取得了 6490 分的图形分数;在测评 DX12 性能的 TimeSpy 测试中,P106-100 在基本测试中取得了 4428 分的图形分数。

(图源:雷科技)

这个性能表现和 GTX1060 差不多,甚至能和移动端 RTX 3050 碰一碰了。

存储方面,我们斥资 40 元购入的这块杂牌 128GB SATA SSD 硬盘,顺序读写速度达到 505.24MB/s 和 369.63MB/s,随机 4K 读写达到 132.06MB/s 和 246.55MB/s,虽然和 M2 SSD 硬盘没得比,但是作为系统启动盘肯定是绰绰有余了。

(图源:雷科技)

至于这对双通道的 DDR3 内存,使用 AIDA64 进行内存缓存测试,测得的读取速度为 18557MB/s,写入速度为 19889MB/s,复制速度为 17914MB/s,延迟为 67.2ns,给这台电脑用可以说是刚刚好。

(图源:雷科技)

2 百元机,用上 DeepSeek

既然目的是在几百块钱的预算下,打造出一套可用的本地 DeepSeek 主机,那么体验肯定是我们最关注的一环。

首先,要说真正的 DeepSeek-R1,那便只有一个版本,即 671B 的原始版本,其中包含大量的参数,推理精度确实高,但需要大量计算资源,而且显存至少为 1342GB。

(图源:HuggingFace)

这显然是 P106-100 承受不起的,也没有哪张消费级显卡能承担得起就是了,官方推荐的方法是用 16 张 NVDIA-A100 80GB 显卡,或者是组成 Mac 电脑集群,用高速度的统一内存去跑。

像我们这种消费级显卡,就只能用" 蒸馏模型 "

所谓蒸馏模型,可以看成 " 老师教学生 ",通过知识蒸馏,教更精简的模型学会复制较大模型的行为,扩充性能,减少资源需求,而用 DeepSeek-R1 蒸馏的话,主要就是给这些模型加入 " 深度推理 " 的概念。

再降低一下模型精度,就能看到我们能够部署的蒸馏模型。

(图源:HuggingFace)

然后根据 Unsloth 提供的报告,DeepSeek-R1-Distil-Qwen-7B 是符合需求的蒸馏模型中表现最出色的,各方面测试成绩均超越了理论参数更多的 DeepSeek-R1-Distil-Llama-8B。

那么我们今天要部署的,自然就是DeepSeek-R1-Distil-Qwen-7B

目前想在 PC 本地部署 DeepSeek 有两种办法,其中最常见的应该是Ollama+Chatbox AI的组合。

所谓 Ollama,其实就是一款比较流行的本地大模型服务端工具,部署起来也很简单,只要在 Ollama 官网搜索 DeepSeek-r1,下面就会有不同大小的蒸馏模型渲染,然后搭配客户端启动就行了。

(图源:Ollama)

安装后,Ollama 一般就在本地的 11434 端口开启服务了,但此时你只能在终端中进行交互,但是要获得像 DeepSeek 官网一样的体验,还是需要额外的前端客户端才行。

而 Chatbox AI,就是最常见的一款前端产品。

不同于服务端的纯文字内容展示 ,Chatbox AI 将大部分设置、功能进行了图形化,使用户的体验更加直观,而且这款产品支持众多本地 AI 模型和 API 接口,自然也可以使用本地 Ollama 11434 端口的服务。

接入之后,大概就是这个样子。

(图源:雷科技)

你可以在 Chatbox AI 定义自己想要交互的模型人设,

但要论角色扮演的话,第二种部署方法或许会更适合一点。

为你介绍 Koblodcpp,这是一款整合 Koblod.AI 界面的 llamacpp 启动程序,可以运行目前外网流行的 GGUF 格式本地大模型,甚至可以整合语音大模型和绘图大模型,实现在对话的同时,生成语音和对应场景的效果。

只要在 HF-Mirror 下载对应的大模型,然后就能用 Koblodcpp 启动了。

(图源:雷科技)

使用 Koblodcpp,你就可以加载通用格式的角色卡,实现和各种不同的角色对话交流的独特体验。

如果这还不够,你还能够借助 Koblodcpp 的端口部署SillyTarven,后者是目前全网公认的最好用的大模型角色扮演前端,能够帮助用户实现对话逻辑的定义,对用户自身人设的定义,加载补充世界观的 Lorebook 和载入图片、动图以及互动代码来完善角色扮演体验。

甚至 ... 可以让 DeepSeek 实现破限,做到一些云端大模型做不到的事情。

简单介绍完部署方法后,接下来就该进入实测环节了。

用一些常规问题和它进行交互,就能看到详细的推理过程,应付一些正经的初高中语文、数学、英语问题,本地部署的 DeepSeek 体验起来还是不错的。

(图源:雷科技)

询问一些关公战秦琼的问题,文学创作能力看起来也不赖。

(图源:雷科技)

不过在比较复杂的数学、逻辑难题里,本地部署的 DeepSeek 表现就比较一般了,有不少逻辑推理题甚至会出现算不出答案的情况。

(图源:雷科技)

因为没有联网的缘故,目前本地部署的 DeepSeek 模型的知识库是截至 2023 年的,没有比较新鲜的素材,因此一些有时效性的问题自然无法作答。

(图源:雷科技)

至于速度的话,在限制回复长度为 1024 代币的情况下,应付一道高中数学题的思考过程为 127s(即两分钟)左右,这个速度和原版 DeepSeek 之间差别不大,深度思考的特性让本地和云端的体验大大拉近。

(图源:雷科技)

当然了,因为思考太长的原因,本地部署的 DeepSeek 确实就不大适合聊天用了,喜欢聊天的建议更换 Casuallm 大模型进行体验。

3 总结:低配置也能跑,

但稳定性欠佳

优点:

1、成本预算低廉;

2、确实能运行本地大模型。

缺点:

1、二手零部件无保障;

2、矿卡驱动非常容易掉,白屏问题时有发生。

论性能,这款预算不到 400 元的电脑主机其实还不错。

尽管 CPU 规格老旧、矿卡表现不稳定,但是这台廉价主机确实能完成 DeepSeek 本地大模型的部署,在组装完成后的这段时间里,它一度成为公司局域网内部的 AI 终端,还可以部署本地 AI 绘图等一系列能力,算是实至名归的 AI PC。

虽然没有具体测试,但是近 4500 分的 TimeSpy 图形分,即便是《孤岛惊魂 6》这样的 3A 大作,这款机子也能在 FHD 低画质下保证 60 帧稳定运行,应付《英雄联盟》这类网游应该是绰绰有余的,也可以当一台入门的游戏主机来用。

说是这么说,问题当然还是有的。

先说这台机子,为了搞好这台机子我也是前后折腾了半天。 P106-100 这张矿卡多次出现掉驱动导致电脑白屏,需要用 DDDU 卸载驱动再重装的情况,至于那个二手电源后面直接瘫痪了,还得去 PDD 上面扯皮商家才肯换货。

目前闲鱼上面还有不少和我组装起来的这台机子配置类似的洋垃圾整机,售价普遍在 350-400 元左右,目标受众很明显是刚上大学或者走出社会的年轻群体,个人建议大伙别去购买这些产品,一分钱一分货可不是开玩笑的。

再说说 DeepSeek,目前市面上所有的本地 DeepSeek 部署教程,包括我们在内,实际上部署的都是经过 DeepSeek 蒸馏的通义千问模型,回答一些基础问题,简单测试深度思考还行,复杂一点的逻辑思考能力,这本地部署的版本和全参数的版本之间的差别可不是一星半点。

只能说,真要想追求不卡的全参数 DeepSeek 体验,整个 API 接口可能是更加合理的方法。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

洋垃圾 美国 抖音 英伟达
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论