作者:可爱的小 cherry
大家好,这里是 Cherry,喜爱折腾、玩数码,热衷于分享自己的数码玩耍经验 ~
前言
最近 AI 真的是火得一塌糊涂阿,出圈到了办公室里的大伯都开始用 AI 养生了,每天鼓捣一些奇奇怪怪的养生茶。
这不,极空间也紧抓潮流,搭建了极空间专属的满血版 DeepSeek 服务器,并在全系列产品上架了 DeepSeek 服务,势必让每一个极空间用户都能体验上专属的 DeepSeek 服务。
本次更新,不仅我们的 AI 助手接入 DeepSeek,还发布了 开箱即用 的 本地化 DeepSeek-R1(7b、14b) 和 在线满血版 DeepSeek-v3 应用,纯纯下足血本!
作为走在数码弄潮儿,如果我们不在 NAS 上折腾一下 AI,都不好意思出去说自己的 NAS 用户。
前期,我也分享了很多利用 docker 部署安装本地 AI 的教程,用兴趣的朋友可以回头看一看。但是过来人一句话,docker 部署的 AI 应用,它们在性能利用率上是要打折扣的,毕竟一层虚拟化掉一层皮,和直接在 Linux 环境下运行的 AI 大模型差异很大。
下面,让我们一起看看极空间发布的 DeepSeek 服务到底如何,并且附赠一个全网独家的极空间本地 DeepSeek API 调用方法。
一、AI 助手升级,满血版 Deepseek 随意玩
在 " 帮助与反馈 " 模块下,全面提升了 AI 助手的答疑能力,并且提供了基于云端的 deepseek 的在线对话功能。
1、AI 助手更聪明了
先说说 AI 助手升级,之前的 AI 助手说实话,的确有点笨笨的,一旦我们问的内容超过知识库范畴,它就会一问三不知。
最新版本的 AI 助手已经接入的极空间自家的 deepseek 服务,在围绕极空间私有云自身的功能、使用、答疑上都有不错的效果。
举个例子,我问了更新内容以及 docker 网口打不开怎么办,它分别提供了查询路径,提供了多种排查 Docker 端口无法打开的方法,虽然还无法实现自动处理,但是在答疑、检索上比之前已经大大的进步了。
2、满血 Deepseek-v3 免费畅玩
除了 AI 助手能力升级外,极空间还提供了全系列 NAS 可用的 DeepSeek 在线会话功能。 无论是 Arm 架构的 Q2C、Z2 Pro,还是 X86 架构的各型号,都可以畅玩满血版 DeepSeek,根本不存在旧设备不支持这个问题。
和 AI 助手只能问极空间自身功能不同,极空间 DeepSeek 是一款真正为极空间用户提供的云端 AI,开箱即用,免安装、免配置,响应速度快,不超时不繁忙。
不过缺点也有,一是模型数量目前仅支持 DeepSeek-V3(响应速度比 R1 更快),二是暂时没保存历史对话,重开应用会清空历史对话。这两点相信在后续的更新中会有所改善,让我们极空间用户可以畅玩 AI 对话,甚至可以畅想一下 AI 绘图,哈哈哈哈哈。
我让极空间的 DeepSeek 提供了几个图床的容器项目,分别推荐了兰空、荔枝、Piwigo 等,都是经典好用的 docker 项目,并且还很贴心的提供了 docker 镜像名,感觉我要下岗了有没有!呜呜呜 ~
二、极空间本地 DeepSeek-R1:7b/14b 玩耍心得
除了极空间提供了 DeepSeek-V3 云端服务,以及 AI 助手外,Z423 机型(含标准版、旗舰版)还追加了 DeepSeek 本地部署应用,可以一键搭建 DeepSeek-R1:7b 和 DeepSeek-R1:14b。
两个模型目前测试是无法共存的,一般建议大家直接下 7B 的使用,足以满足日常所需。如果内存给的比较足一点的,可以下载 14B 使用。当然,我这以 14B 进行演示。
14B 大概需要占用 8G 空间,我下载存放在了 M.2 Nvme 盘里,下载以后这个模型在前台是看不见的,通过 SSH 查询具体的位置在 /data_ 盘位 /ai_models 下。
安装起来真的很方便,鼠标点两下就安装完成,老人小孩也能用。下载完成后,只需要点击启动引擎就可以开始工作了。
1、DeepSeek 本地运行小试牛刀
我分别使用 Docker 部署了 7B 的模型,然后极空间 DeepSeek 使用了 14B 的模型,问了相同的问题进行比较。
先说结论吧,从结果上来说,14b 的答题效果要明显好于 7b 的,这点毋庸置疑,毕竟更多的参数意味着答案更精准。而这也是极空间本地 DeepSeek-R1 的核心优势,毕竟自行部署的大部分只能跑 7b 模型,差距一下子就拉开了!
问题: 我是一个 NAS 小白,针对 NAS 的数据安全,你有什么建议吗?提供 3 点以上的防护策略,要求有具体可操作。
左侧是极空间内置 14b 模型,右边是 Docker 部署的 7b 模型。
1️⃣先看思考过程:
14b 的思考内容是围绕 NAS 这个主题的,内容和 NAS 关联性强的多,而且层次丰富,提到了数据加密、备份、ACL 策略、灾备、网络安全等方面,相对完整。
7b 的思考有点类似通用的安全,思考到了端对端加密,访问控制,备份,应急演练,这个更像是一套通用性的数据安全防护策略,和 NAS 关联性并不高。
2️⃣再看答案:
14b 的答案,包括思考中提到的 7 个部分,每一个部分都和 NAS 强关联,是 NAS 上切实可操作的内容,还增加了用户强密码策略、日志等。
7b 的答案,很模板化,一共提到 6 点,但是每一个都是一句话,而且和 NAS 基本没什么关系。
2、DeepSeek 本地性能测试
我分别部署了 7B 和 14B 的模型,并且提问,对处理器占用情况进行了对比。
从性能结果上来看,Z423 标准版使用的是纯 CPU 计算,没有内存和显卡加持,占用情况 7B 和 14B 没区别。CPU 最高可跑到 80%,平均在 70%,温度最高可跑到 70 度,当思考结束输出问题时回落到 55 度左右。
跑 7B 的处理器占用情况
跑 7B 的进程监控情况
跑 14B 的处理器占用情况
跑 14B 的进程监控情况
3、极空间本地 DeepSeek 作为 API 使用的方法(不用操作,就看看理论)
极空间的本地 DeepSeek 是用什么跑的,既然可以前端展示,是不是也可以让我们利用成 API 给容器或者外部使用呢?
抱着好奇心,我登陆了极空间后端一探究竟。
⭐温馨提示:SSH 操作异常危险,所有 SSH 操作需要在十分了解指令的背后才可以使用,否则容易对设备造成损害,建议大家不要轻易尝试。
⭐温馨提示:本方法透出 API,仅当前版本适用,不清楚后续极空间是否会修改部署方式,请务必看懂教程再实施。
首先查看一下端口,使用指令 netstat -nlpt 查看,其中找到一个 zllamas 的应用,占用了 127.0.0.1:45463 端口。这个名字一看就是我们的目标了,直接根据 PID 822202 去找(PID 每次都不同)。
输入指令 ps -p 822202 -o args= 查看进程的启动命令。
服务部署在 zspace/applicaitons/services/zcomic/DB/aiengine/bin/zllamas 下。(是不是好奇为啥是在极漫画的路径下,我也好奇,猜测后续极空间会推出漫画翻译功能?)
调用了 ds.guff 模型,模型的具体位置如下:
/zspace/applications/services/zcomic/DB/aiengine/model/ds.gguf
这个 .gguf 格式,是 Llama.cpp/GGML 的推理框架专用格式。因此我们就可以猜测极空间的 deepseek 服务 zllamas 是基于 Llama.cpp 的定制化服务。
接着,curl 一下端口看看,啊呀,没啥实质性内容,那么看看日志。输入指令 tail -f /proc/822202/fd/1 2>&1,查看到了本地的 POST 内容(需要先对话一次)。
API 沿用的标准 openai 兼容格式 localhost/v1/chat/completions,json 也一样。
那么使用 POST API 去调用一下标准模板,发现命令行下可以正确返回结果,但是在前端是没有反馈的,说明前端网页也是调用了 API。
至此,我们顺利找到了将本地部署的 DeepSeek-R1 作为 API 服务调用的方法了。
POST 测试指令
curl -X POST http://localhost:45463/v1/chat/completions
-H "Content-Type: application/json"
-d '{
"model": "/zspace/applications/services/zcomic/DB/aiengine/model/ds.gguf",
"messages": [
{"role": "user", "content": " 你好,请介绍你自己 "}
] ,
"stream": false,
"max_tokens": 100
}'
命令行模式下的返回结果。
4、Nginx 转发本地端口
接下来,要使用这个本地 API,我们只需要搞定 localhost:45463 转发到 0.0.0.0:45464 就可以了,常规做法就是使用 Nginx 搞定。
首先,将下面的代码另存为 nginx.conf 文件
# /etc/nginx/nginx.conf
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log notice;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [ $time_local ] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log /var/log/nginx/access.log main;
sendfile on;
keepalive_timeout 65;
server {
listen 45464;
server_name _;
location / {
proxy_pass http://127.0.0.1:45463;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_read_timeout 86400s;
proxy_send_timeout 86400s;
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root /usr/share/nginx/html;
将文件复制到极空间 nginx 目录下(自己任意创建一个),黑线的不用管,只要红框的。
启动一个 nginx:latest 容器,把刚才保存的 nginx.conf 文件添加进来,装载到 /etc/nginx/nginx.conf 路径里。
把默认的 bridge 网络更改为 host,然后保存部署即可。
部署之后看下日志,正确的话是显示进程的。
5、验证极空间 DeepSeek-R1 本地 API
利用 Cherry Studio 来验证一下极空间本地部署的 DeepSeek-R1 是不是被作为 API 转发出来了。
# 在任意 cmd 界面输入以下指令
curl 极空间 ip:45464
>>> 如果输出结果如下表示正确,Error:gzip is not supported by this browser
下面我们来配置 Cherry Studio 的 API,任何厂家里去添加都可以,毕竟是兼容的。
1️⃣ API 地址:http:// 极空间 IP:45464
2️⃣模型:/zspace/applications/services/zcomic/DB/aiengine/model/ds.gguf
3️⃣ API KEY:空或任意字符
我的配置截图,可参照。
配置完成以后,点一下连接测试一下。
接着我在 Cherry Studio 中 @了极空间本地部署的 deepseek-r1,思考的同时验证了一下极空间的 CPU 使用量,说明调用成功了。
如果是公网的,只需要配置 DDNS 并在路由器转发出去即可。
总结
在体验了极空间本次上架的 DeepSeek 服务后,不得不感慨 AI 之于 NAS 的妙用。
除了前期我们很熟悉的 AI 相册功能涉及到大模型外,本地化 AI、在线版满血 AI 分工合作,既能在满足隐私性要求,又能实现高性能对话,后期直接加载 NAS 内的知识库文档,甚至利用 Agent 操作 NAS 也不是不可能。
登录后才可以发布评论哦
打开小程序可以发布评论哦