驱动之家 23小时前
国内首次!真武M890跑通2.4万亿Qwen3.8:推理效率提升1.5倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 7 月 23 日消息,阿里云今日宣布,真武 M890 超节点已成功适配阿里旗舰大模型 Qwen3.8,参数规模高达 2.4 万亿。

该超节点已正式上线阿里云百炼平台对外提供推理服务,成为国内首个成功运行超 2 万亿参数大模型的超节点。

真武 M890 是平头哥新一代训推一体 AI 芯片,原生支持 FP32 到 FP4 等多种数据精度,可覆盖高精度训练到超低精度推理的全场景。

值得注意的是,跑通 2.4 万亿参数模型,需要将参数分散到几十张甚至上百张高速互联的 GPU 卡上,而普通 AI 集群因通信带宽局限,难以满足高吞吐、低延迟、高并发的需求。

为了解决上述难题,真武超节点实例通过 ICN Switch 1.0 互联芯片,让 64 张真武 M890 实现了 800GB/s 的高速互联,显存规模达到 9TB。单实例即可支撑大规模 2 万亿参数 MoE 模型的专家并行需求。

此外,阿里还从芯片到云平台层面实现了与 Qwen 模型的全链路优化。实测数据显示,通过算子优化和软硬件架构协同,该超节点实例在 Agentic 推理场景中最多可实现 1.5 倍的推理性能提升。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:红茶

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

阿里云 阿里 ai 芯片 平头哥
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论