驱动之家 21小时前
2013年老GPU别扔!破解版PS4本地跑90亿参数大模型:43Token/秒比电脑还快
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 11 月 17 日消息,破解版 PS4 也能在本地跑大模型了。开发者 Leonardo Alegr í a 正式发布了名为 Garlic LLM 的开源项目,成功让这款 2013 年的老旧硬件本地运行了拥有 90 亿参数的阿里通义千问 Qwen3.5-9B 大模型。

实测数据显示,该项目在文本聊天模式下的生成速度最高可达 43Token/ 秒,表现甚至优于部分主流 PC 平台。

这款 Garlic LLM 与通常依赖 Vulkan 或 OpenCL 驱动层的方案不同,该项目彻底绕过了 PS4 的图形驱动,通过 OpenCL C 直接编写针对 AMD GCN 架构的计算算子,并手动构建 PM4 指令缓冲直接与 GPU 通信。

这种越级通信方式大幅降低了指令延迟,使得即便主频较低的 PS4 显卡也能满负荷处理复杂的矩阵运算。

而且为了适配 PS4 仅有的 8GB 统一内存,开发者将 Qwen3.5-9B 模型进行了 4 位(4-bit)量化处理,将模型体积压缩至约 4.5GiB。

除了纯文本生成,Garlic LLM 还集成了完善的语音交互链条。它利用 Nvidia 的 Parakeet 模型实现 25 种欧洲语言的语音识别,并通过 Chatterbox 模型提供 7 种语言的语音合成输出。

在开启语音交互的情况下,模型运行速度仍能维持在 22Token/ 秒左右。这意味着玩家只需通过手柄按键录音,即可与 PS4 进行完全离线的流畅语音对话,且无需任何互联网连接。

目前该项目已在 Hugging Face 平台开放下载,安装包体积约为 5.66GB,要求 PS4 主机必须运行 GoldHEN 自制系统环境,开发者已经在固件版本为 11.52 的 PS4 Slim 主机上完成了全部测试。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

amd gpu 语音交互 互联网 开源
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…