公众号记得加星标⭐️,第一时间看推送不会错过。
AMD 全新的 Instinct MI455X 将取代之前的 Instinct MI355X,成为 AMD AI 产品线的旗舰产品。这是 AMD 首款专为机架级 AI 部署而设计的 GPU,基于全新的 CDNA5 架构,其计算单元和 SoC 均进行了重大改进,包括提升计算性能、提高内存带宽、扩大内存容量,并采用台积电的 CoWoS-L 封装。
它配备了全新的 Helios 机架式扩展解决方案,单个扩展舱最多可容纳 72 个 GPU,而之前的 MI355X 系统仅支持 8 个 GPU。此外,它还采用了一种基于以太网 UALink ( UAEoL ) 的全新容错纵向扩展网络架构,可在整个机架上实现单跳全连接通信。
单个 MI455X 包含 256 个工作组处理器 ( WGP ) ,分布在 8 个加速器复合体芯片 ( XCD ) 上,最高 " 引擎 " 时钟频率为 2.4GHz。这使其峰值计算性能达到 315 TFLOP(矩阵 / 向量 FP32 和向量 FP16),以及高达 40.26 PFLOP(OCP MXFP4)。此外,它还配备 12 个 HBM4 显存堆栈,每个堆栈位于 2048 位总线上,总共 192 个通道,使每个 GPU 拥有 432 GB 的显存容量,读写速度为 23.3 TB/ 秒。
从 " 计算单元 " 的变化开始,AMD 现在在 CDNA5 中计算的是 WGP 而不是 CU。这与他们在消费级产品中的做法不同,在消费级产品中,每个 WGP 算作两个 CU。
但与 RDNA4 一样,每个 WGP 包含四个双发射 Wave32 SIMD32 单元和 4 个标量单元,这与 CDNA4 的四个单发射 Wave64 SIMD16 单元相比发生了巨大的变化。
这意味着每个 WGP 每个周期最多可以执行 256 次打包的 FP32 操作(如果使用 FMA,则为 512 FLOPS)。
为了支持这种新的 SIMD 设计,VGPR 寄存器文件经过重新组织,现在每个波前最多可以寻址 1024 个 VGPR,是之前 CDNA 和 RDNA 架构中单个波前可访问 VGPR 数量的四倍。每个 SIMD 仍然拥有 128kB 的向量寄存器,与 CDNA4 相同,这意味着由于 Wave32 相对于 Wave64,其实际可用寄存器数量是 CDNA4 的两倍(1024 个),但仍然少于 RDNA4 的 192kB。这也意味着在某些情况下,单个波前可能需要占用整个 SIMD。
矩阵单元也得到了加强,每个矩阵单元每个周期最多可以执行 8,192 次 FP4 操作,每个 WGP 有 4 个矩阵单元,每个 WGP 每个周期最多可以执行 65,536 次矩阵操作。
这意味着在新架构中,只有 FP4 和 FP8 实际上更快,其余的性能提升来自于将 SIMD 宽度从 16 增加到 32。
为了支持这种新设计,WGP 之间的缓存也进行了更改。L1 数据缓存和 LDS 的容量都翻了一番,L1 数据缓存达到 64 KB,LDS 达到 320 KB,LDS 的带宽也翻了一番,以便更好地满足 CDNA5 WGP 的需求。但这主要是 AMD 新计算方式的结果,在新方式中,WGP 不再被拆分为两个 CU。
每个 XCD 有 32 个激活的 WGP,34 个物理 WGP(其中 2 个已熔断),这些物理 WGP 被分成 2 个着色器引擎 ( SE ) ,每个着色器引擎包含 16 个 WGP。每个着色器引擎都与一个 " 广播仲裁器 " 配对,该仲裁器取代了 RDNA4 中的 L1 缓冲区 ( GL1 ) ,现在位于 SE 级别,而不是较低的着色器阵列级别。它既可以作为写入合并缓冲区,又可以通过广播数据提供 " 高达 4 倍 " 的带宽放大。
内存子系统现在支持多播加载,通过减少冗余内存流量显著加速矩阵乘法。假设有一个 GEMM 计算 C=A × B,通常情况下,我们需要让每个波前分别将例如 A 操作数的一部分加载到每个 WGP 的 LDS 中。而使用多播加载,我们只需一条多播加载指令即可将 A 操作数的一部分加载到所有相关的 WGP 中。
每个波前仍然加载不同的 B 瓦片,但 MI455X 可以一次性从 L2 获取公共 A 数据,并使用广播仲裁器将其复制到所有相关的 WGP 私有 LDS 分配中。
AMD 将此称为高达 4 倍的带宽放大,但放大发生在 L2 缓存之后,并非 L2 或 HBM 带宽翻四倍。相反,一个 L2 流量单位被转换为四个本地传输的数据单位,从而减少了冗余缓存读取和芯片间链路流量,同时确保每个 WGP 都拥有数据的近端副本。
再来看基础芯片,AMD 现在采用 192 MB 的全局 L2 缓存,分布在两个 Fabric Cache Die ( FCD ) 上,每个 FCD 包含 96 个 1 MB 的 SRAM 块。每个 FCD 可以为该 FCD 上的 128 个 WGP 提供高达 27 TB/s 的 L2 带宽,因此 L2 的总带宽最高可达 54 TB/s。
这些 FCD 连接到 12 个 HBM4 堆栈,每个堆栈有 36 GB DRAM,总容量为 432 GB HBM4,每个堆栈的运行速度约为 7.6 GT/s/pin,通过 2,048b 总线连接,总内存带宽为 23.3 TB/s。
对于 MI455X 封装外部的任何 I/O,每个 FCD 都连接到一个 I/O 芯片,该芯片负责将 GPU 封装连接到主机 CPU、纵向扩展网络以及横向扩展网卡,这项至关重要的任务就是将 GPU 封装连接到主机 CPU、纵向扩展网络以及横向扩展网卡。之前由 PCIe 提供的 CPU 到 GPU 的连接已被专用的 16 通道 AMD Infinity Fabric 取代,后者提供 256GB/s 的双向带宽,从而确保 GPU 封装和主机 CPU 之间建立稳定的连接。
说到扩展性,AMD 除了推出 MI455X 加速器之外,还发布了一个经过验证的机架级平台,用于大规模 AI 基础设施部署。这得益于 MI455X 扩展接口的增加,它拥有 36 个 400Gbit/s UALoE 接口,每个接口支持 2 条 200G 以太网通道,每个 GPU 的峰值双向带宽可达 3.6 TB/s。
MI455X 还引入了分离式 DMA 架构,该架构可自动将流量与最佳链路关联,从而降低通信所需的拓扑感知能力。
Helios 采用 OCP 全新的开放式机架宽型设计,机柜尺寸为 1.2 米宽、1.3 米深。GPU 分为两组,每组九个计算托架,每个托架高度为 1 OU。每个托架配备四个 MI455X 和一颗 96 核 EPYC 9006 SP7。每颗 CPU 配备 16 条 64GB DIMM 内存(总容量 1TB)和五个 E1.S SSD 插槽。六个 Helios 交换机托架共提供 12 个交换机,每个 GPU 通过 3 条 UALoE 链路直接连接。每个交换机提供 432 条 200Gb/s 的链路,总吞吐量为 21.6TB/s。这相当于双向 260TB/s 的扩展带宽。
横向扩展通过两块板卡实现,每块板卡可容纳 4 个或 6 个 Pensando 网卡,具体取决于最终客户所需的横向扩展规模,从而提供高达 43TB/s 的后端带宽。Helios 部署在一个机架中可容纳 72 个 GPU,在 MXFP4 模式下最高可提供 2.9 个有效帧 ( EF ) ,在 FP32 模式下最高可提供 22.6 个有效帧 ( PF ) ,同时共享 31TB 的 HBM4 显存,总内存带宽为 1.7PB/s。
从 Tahiti 开始,GCN 微架构支撑了 AMD 近 15 年来的所有计算加速器,随后是 Fiji、Vega 以及前四代 CDNA 架构。随着 CDNA5 的发布,AMD 转向了基于 RDNA 系列的微架构,这也标志着 GCN 微架构漫长历史的终结。
随着这一里程碑的到来,AMD 数据中心加速器的新篇章也拉开了帷幕。如今,它不再局限于单个 GPU,而是扩展到机架内 72 个 GPU,并同时扩展机架数量。为此,AMD 几乎动用了其所有业务,从 EPYC 服务器 CPU 到 Pensando 网络,再到 Radeon 部门的基础 GFX12 显卡,将它们整合到 AMD Helios Rack 机架中。
(来源 :编译自 chipsandcheese )
* 免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
今天是《半导体行业观察》为您分享的第 4479 内容,欢迎关注。
加星标⭐️第一时间看推送
求推荐


登录后才可以发布评论哦
打开小程序可以发布评论哦