快科技 11 月 17 日消息,破解版 PS4 也能在本地跑大模型了。开发者 Leonardo Alegr í a 正式发布了名为 Garlic LLM 的开源项目,成功让这款 2013 年的老旧硬件本地运行了拥有 90 亿参数的阿里通义千问 Qwen3.5-9B 大模型。
实测数据显示,该项目在文本聊天模式下的生成速度最高可达 43Token/ 秒,表现甚至优于部分主流 PC 平台。

这款 Garlic LLM 与通常依赖 Vulkan 或 OpenCL 驱动层的方案不同,该项目彻底绕过了 PS4 的图形驱动,通过 OpenCL C 直接编写针对 AMD GCN 架构的计算算子,并手动构建 PM4 指令缓冲直接与 GPU 通信。
这种越级通信方式大幅降低了指令延迟,使得即便主频较低的 PS4 显卡也能满负荷处理复杂的矩阵运算。
而且为了适配 PS4 仅有的 8GB 统一内存,开发者将 Qwen3.5-9B 模型进行了 4 位(4-bit)量化处理,将模型体积压缩至约 4.5GiB。

除了纯文本生成,Garlic LLM 还集成了完善的语音交互链条。它利用 Nvidia 的 Parakeet 模型实现 25 种欧洲语言的语音识别,并通过 Chatterbox 模型提供 7 种语言的语音合成输出。
在开启语音交互的情况下,模型运行速度仍能维持在 22Token/ 秒左右。这意味着玩家只需通过手柄按键录音,即可与 PS4 进行完全离线的流畅语音对话,且无需任何互联网连接。
目前该项目已在 Hugging Face 平台开放下载,安装包体积约为 5.66GB,要求 PS4 主机必须运行 GoldHEN 自制系统环境,开发者已经在固件版本为 11.52 的 PS4 Slim 主机上完成了全部测试。



登录后才可以发布评论哦
打开小程序可以发布评论哦