IT之家 07-25
智谱 GLM-4.5 系列 AI 模型踪迹曝光,预估采用新混合专家架构
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 7 月 25 日消息,根据 modelscope / ms-swift 代码库显示的 commit 记录,智谱即将发布 GLM-4.5 系列模型,预估采用全新的混合专家(MoE)结构,是一款多模态可扩展大模型。

根据 commit 上显示的代码,GLM-4.5 系列模型预估会有 GLM-4.5(355B-A32B)和 GLM-4.5-Air(106B-A12B)两款模型。

IT 之家附上网友 @惊鱼 在 Linux DO 论坛发布的分析内容如下:

GLM-4.5 是基于混合专家(MoE)结构的多模态可扩展大模型,具备高吞吐推理、结构化工具调用、可解释推理追踪、分布式负载均衡等特性。

支持多专家分组、负载均衡、分布式推理和多 token 预测(MTP)推理。

添加了新的推理解析器和工具调用解析器,允许模型输出严格的… 推理内容和 … 工具调用内容,便于工具增强推理与函数调用。

文档显示 GLM-4.5 支持 T(文本)、I(图像)、E+(可扩展)、V+(视觉扩展),表明模型定位为多模态增强大模型。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

it之家 linux
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论