钛媒体快报 昨天
腾讯混元:295B参数模型Hy3单卡即可部署
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

钛媒体 App 7 月 14 日消息,腾讯混元发文表示,Hy3 上线并开源后,社区一直在呼吁量化版本,希望单卡跑参数量达 295B 的 Hy3。团队针对开源社区需求,把 Hy3 的权重量化到 1bit 与 4bit 并打包成 GGUF,配合 llama.cpp 生态,让原本只能跑在多卡集群上的模型,最少一张推理显卡、乃至内存充足的本地机器也能跑起来。(广角观察)

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

腾讯 钛媒体 开源 广角
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论