钛媒体 App 7 月 14 日消息,腾讯混元发文表示,Hy3 上线并开源后,社区一直在呼吁量化版本,希望单卡跑参数量达 295B 的 Hy3。团队针对开源社区需求,把 Hy3 的权重量化到 1bit 与 4bit 并打包成 GGUF,配合 llama.cpp 生态,让原本只能跑在多卡集群上的模型,最少一张推理显卡、乃至内存充足的本地机器也能跑起来。(广角观察)

钛媒体 App 7 月 14 日消息,腾讯混元发文表示,Hy3 上线并开源后,社区一直在呼吁量化版本,希望单卡跑参数量达 295B 的 Hy3。团队针对开源社区需求,把 Hy3 的权重量化到 1bit 与 4bit 并打包成 GGUF,配合 llama.cpp 生态,让原本只能跑在多卡集群上的模型,最少一张推理显卡、乃至内存充足的本地机器也能跑起来。(广角观察)
登录后才可以发布评论哦
打开小程序可以发布评论哦