IT之家 前天
IBM 推出 Granite 4.0 系列开源模型:混合架构设计降低内存需求
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 10 月 4 日消息,IBM 当地时间 2 日宣布推出 Granite 4.0 系列企业级 LLM 模型,新一代的模型采用 Mamba-Transformer 混合架构,可在不牺牲性能的前提下大幅降低内存需求,这降低了推理部署的成本。

Granite 4.0 系列模型的首发型号包括 Small、Tiny、Micro 规模的标准和指令变体(规格参见下方列表),未来其它参数规模版本和推理变体则将在 2025 年底推出。

Granite-4.0-H-Small:总参数 32B,激活 9B;

Granite-4.0-H-Tiny:总参数 7B,激活 1B;

Granite-4.0-H-Micro:总参数 3B;

Granite-4.0-Micro:采用传统 Transformer 架构,总参数 3B。

IBM 表示混合架构的设计能在长输入和多并发场景下减少 70% 的内存需求。性能方面,即使是最小的 Granite 4.0 模型在基准测试中也明显优于 Granite 3.3 8B,而 Granite-4.0-H-Small 则以较小参数规模取得了开源模型中一流的表现

IBM 以标准 Apache 2.0 许可开源 Granite 4.0 系列模型,这些模型得到了 ISO 42001 认证并经过加密签名。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ibm 开源 it之家
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论