什么值得买 02-19
A卡福音!3步本地部署DeepSeekR1,完全无需命令行
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

作者:HudenJear

虽然一直以来谈到 AI 就是英伟达如何云云,但是本次 DeepSeekR1 的发布着实让人知晓了 AMD 早已突破了老黄的 AI 垄断。AMD 在其发布之初就官方宣布了自家显卡在推理上的独到优势,并且很快在测试版驱动中开启了 DeepSeekR1 的本地使用选项,可谓是高歌猛进啊。

不过可能诸位手里有 A 卡的朋友们受限于 PC 知识,主要还是用着 DeepSeek 的官方应用,没有自己部署 R1 的想法。而现在层出不穷的 DeepSeekR1 部署方法又大多数都是命令行或者部署接口,搞的非常高级,但是日常使用完全用不上,也不太适合新手。所以为了大家都能用上国产争气大模型,我实验出了一个方法,可以完全避开使用命令行,让大家 3 步给自己部署一个本地的 DeepSeekR1 蒸馏模型,不受网络错误的气!

这次就用我平时在用的电脑为例,简单给大家演示一下如何不用任何命令行,就能在本地部署这个备受瞩目的大模型,而大家需要准备的材料只有:

一台电脑,有独显,或者有 AMD 的 8 系 APU(例如 8845)或者 AI 系 APU(例如 AI 9 370)

可以上网

有手就行

步骤 1:下载 LMStudio

LM Studio 是一个极大程度方便 windows 用户的 GUI 大模型本地运行工具,在 windows 上会比 ollama 方便很多,首先我们来安装这个软件 .......

一般而言,windows 上本地部署开源大模型有 ollama 这个方案,但是使用上并不是很方便。原因主要就在于这个东西他是高手用的,像我这样的低手完全不想碰命令行。而且 ollama 下载模型基本都是官方仓库,占用显存更少的量化模型找起来比较复杂,所以对于我们家用用户来说,LMStudio 更方便

安装过程全默认即可,打开之后就能看到很简洁的界面,过程并不需要装额外的依赖内容,也不需要下载额外资源,而且 LM Studio 在 0.2 版本就已经支持了 ROCm,所以默认使用 AMD 显卡也是可以跑满速的

点击文件夹图标可以看到本地的模型,但是目前本地没有模型,联网也找不到模型。这个问题是因为 huggingface.io 在部分地区无法访问,所以我们需要绕过这个

步骤 2:下载模型

绕过 huggingface.io 下载模型的方法也很简单,国内有 hf 的镜像网站,内容很齐全,版本也很新

比如我们搜索 DeepSeek-R1-Distill-Qwen-1.5B-GGUF,然后打开页面,就能看到已经被量化打包好的模型。点开 fileandversion 这一栏,就能下载模型了。一般我们只需要下载一个模型,这里面比较推荐使用 Q8 模型,当显存不足的时候可以考虑 Q2 以及 Q4

觉得慢可以用某雷 p2p 加速一下,会比浏览器下载快很多。下载的时候建议同时下载 gitattributes 这个文件,方便 LMStudio 读取模型信息

步骤 3:准备本地模型文件

下载好上文中的模型文件之后,我们需要新建一个 LMStuidioModels 文件夹,这是仓库的根目录,然后新建一个 unsloth 文件夹,这是模型来源索引文件夹,然后再在其中根据模型名称新建文件夹,比如刚才下载了 DeepSeek-R1-Distill-Qwen-1.5B-GGUF,我们就在这个文件夹里新建这个文件夹,然后放入下载好的模型文件,以及 gitattributes

然后我们打开 LMStudio,点击这个按钮更改本地仓库到刚才的 LMStuidioModels 文件夹,就能看到本地模型了

开始使用 DeepseekR1

此时我们回到对话栏,就能在最上面选择模型,加载,然后开始使用啦。有 A 卡的情况下可以把 CPU 层数开到最大,这样就能完全使用 GPU

比如我们选用一个模型,这里用的是最小的 1.5B 模型,完成加载后如图。我们此时就能在下方的对话框里随意提问了,和一般的大模型使用并无区别

查看显卡占用情况,就能看到 LM Studio 确实调用了 GPU,因为 LM Studio 在 0.2 版本就已经支持了 ROCm,所以使用 AMD 显卡也是可以跑满速的

至于性能可以看图,因为 7900XTX 的显存足够,所以能跑最大 32B 的量化模型。速度上,使用最小的模型可以达到 225token/s,最大的模型也有 35.4token/s,速度绝对是够用的,相比于一般 CPU 来说快了非常多

(可选)部署内网 API 接口

LMStudio 也支持内网 API 接口调用,打开开发者模式,以及接口运行,就能在本地开启对应模型的接口。

比如这里使用 models 的 api 可以查看目前可用的模型名称,也可以使用 curl 命令进行尝试,直接按下这个按钮就能复制 curl 命令。打开内网 API 之后可以看到对应接口的端口,比如这里打开了这个端口之后,就能在其他应用里面进行调用

最简单的例子就是使用 python 做开发,可以直接通过 request 包来,调用这个 API,如果有耐心还可以自己封装一些应用

用到的硬件

总结

虽然很想让 DeepSeek 帮我总结了,但是还是认真讲一下吧。LMStudio 作为大语言模型入门的应用来说非常方便,但是默认接入抱抱脸是一个痛点,不过使用迅雷和国内镜像网站就能回避,总的来说比较方便。而大语言模型也是非常实用的一个工具,我平时做开发也会用大语言模型来写代码,DeepSeek 爆发之后也是让我如虎添翼,所以我很推荐有条件的朋友都搞一个来玩玩。

至于部署需要的硬件成本,我觉得不高,你需要的是:一张 12G 以上显存的显卡用来部署 14B 的模型,16G 以上的显卡部署 32B 的量化模型,或者 AMD 最新的 8 系或者 AI 系 APU,比如 8845 或者 AI 9 370 之类内置 NPU,用上内存也能跑 32B 的模型,使用上基本能媲美独显。而平时应用也非常方便,不仅是写文档写代码,有一些知识相关的可以用大模型来学,比如想学一下外语(正经),大语言模型是一个非常不错的老师。

AMD 在 AI 领域内的不断追赶也让我这个小 Afan 更有信心了,本身 AMD 的显卡精度阉割就没那么狠,底子很不错。在 AI 这个方向上,先是开源的 ROCm,接着又是计算卡 MI 系列,现在又在顶级大语言模型上有比同级 N 卡更强的推理能力。我已经开始期待奸商老黄被 AMD 的方案不断吃掉份额,然后被迫卖掉皮衣补贴公司的场景了(做梦中)为了助力这个梦想,大家都快把手里的 A 卡 AU 用起来啊,本地部署个 DeepSeekR1 给自己享受一把最新的科技进步!

最后送上一张图,感谢大家围观

本文来自什么值得买网站(www.smzdm.com)

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

amd windows apu ai 英伟达
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论