快科技 7 月 28 日消息,日前,2025 世界人工智能大会(WAIC)在上海开幕,华为首次展出被称为 " 算力核弹 " 的昇腾 384 超节点真机,即 Atlas 900 A3 SuperPoD。
华为表示,昇腾 384 超节点被评选为本次 WAIC 2025 镇馆之宝。
昇腾 384 超节点通过高速互联总线,突破互联瓶颈,让超节点像一台计算机一样工作。
相比传统集群,主要有以下 3 大优势:
超大带宽
超节点内任意两个 AI 处理器之间通信带宽,相较于传统架构提升 15 倍,超节点内单跳时延降低 10 倍。
超低时延
昇腾超节点支持全局内存统一编址,具备更高效的内存语义通信能力。通过更低时延指令级内存语义通信,可满足大模型训练 / 推理中的小包通信需求,提升专家网络小包数据传输及离散随机访存通信效率。
昇腾 384 超节点是业界唯一突破 Decode 时延 15ms 的方案,满足实时深度思考下的用户体验需求。
超强性能
经过实际测试,在昇腾超节点集群上,LLaMA3 等千亿稠密模型训练性能可达传统集群的 2.5 倍以上。
在通信占比更高的 Qwen、DeepSeek 等多模态、MoE 模型上,可以达到 3 倍以上的提升。
据了解,昇腾 384 超节点首创将 384 颗昇腾 NPU 和 192 颗鲲鹏 CPU 通过全新高速网络 MatrixLink 全对等互联,形成一台超级 "AI 服务器 ",其算力总规模达 300Pflops,是英伟达 NVL72 的 1.7 倍。
网络互联总带宽达 269TB/s,比英伟达 NVL72 提升 107%;内存总带宽达 1229TB/s,比英伟达 NVL72 提升 113%;单卡推理吞吐量跃升到 2300 Tokens/s。
登录后才可以发布评论哦
打开小程序可以发布评论哦