AI 算力需求的爆发正将 HBM 存储推向架构演进的十字路口。在本届 Hot Chips 大会上，三星、美光、SK 海力士与英伟达密集披露各自技术路线图，核心议题高度集中：HBM 正从标准化商品走向定制化平台，三维垂直堆叠成为下一代架构的共同方向，而散热与功耗约束已成为制约扩展的首要瓶颈。

三星提出将 HBM 基础底片（base die）从通信层演进为定制化 AI 平台的三阶段路线图，并披露 ZHBM 概念——将 HBM 直接垂直堆叠于 XPU 之上，目标是将总 DRAM 功耗较 HBM5 降低约 70%，绝对功耗降幅超过 100W，带宽提升 2.3 倍以上。与此同时，英伟达披露其实验室已拥有至少三款 RVA23 处理器，并完成了 CUDA 在 RISC-V 硬件上运行的首次公开演示，展示了第三方定制 CPU 接入 NVLink Fusion 生态的具体路径。

从市场影响看，超大规模云厂商 AI 资本支出的持续加速是贯穿本届大会的核心叙事主线。存储分析师 Jim Handy 指出，HBM 每片晶圆产出的 GB 数仅为标准 DDR 的三分之一，加之过去十余年行业几乎没有大规模新建晶圆厂，新建产能即便在激进时间表下也需约两年，行业对当前需求冲击的响应能力严重受限。HBM 现货价格已较此前水平上涨约 7 倍，三星、SK 海力士、美光及主要 NAND 供应商均录得异常强劲的营收增长。

HBM 供需结构：产能瓶颈短期难以缓解

Handy 的分析勾勒出当前存储市场的核心矛盾。

需求侧，几乎所有主流 AI 加速器——包括英伟达 GPU、谷歌 TPU 及各类定制硅片——均依赖 HBM；连部分网络组件也开始采用 HBM，创造了数年前几乎不存在的新需求类别。供给侧，由于历史上工艺微缩足以满足位元增长，DRAM 供应商已逾十年未进行大规模产能扩张，短期新建产能几乎无望。

Handy 同时驳斥了 " 算法效率提升将压低硬件需求 " 的常见论断。他认为，当一项新技术将内存需求降低 6 倍，超大规模云厂商的典型反应是用相同预算处理 6 倍的 Token，而非削减资本支出。效率提升改变的是 AI 基础设施的生产力，未必减少投入其中的资金总量。

AI 基础设施的扩张同步收紧了 NAND 与 HDD 市场。META 测试在 TLC SSD 与 HDD 之间部署低成本 QLC SSD 后发现性能改善，促使超大规模数据中心更广泛地采用 SSD；AI 基础设施对 HDD 需求的拉动也已造成短缺，QLC SSD 随之开始填补新存储层级甚至替代缺货 HDD，助推 NAND 进入短缺状态，铠侠和闪迪（SNDK）从中受益。

美光视角：硅片消耗、散热与可靠性构成架构约束

美光 HBM 设计架构师 Ragu 从成本与物理极限两个维度量化了 HBM 扩展的代价。在典型的包含 4 个 12 层 HBM 堆栈的 GPU 封装中，内存硅片总量约为 GPU 硅片的 8 倍，意味着系统级封装中约 90% 的硅片与内存相关。一个 DRAM 裸片失效即可影响整个封装，可靠性挑战随堆栈高度增加而显著加剧。

Ragu 引用 Meta 公布的 Llama 3 研究数据：约 17% 的非预期训练中断归因于 HBM。这一数据直接揭示了 HBM 可靠性对大规模 AI 训练集群的实质性影响。

散热问题已上升为首要架构约束。HBM 基础底片是发热最严重的区域之一，热量从底部产生而散热装置位于 DRAM 堆栈上方，迫使热量穿越每一层。美光表示，HBM 从设计之初就越来越多地围绕散热限制展开，局部功率密度和热点已与总功耗同等重要。

在堆叠极限方面，美光认为 16 层 HBM 在技术路径上可行，但 JEDEC 讨论的 20 层堆叠仍面临大量未解难题—— TSV 密度、功率密度、散热、机械完整性及制造良率均构成严苛约束，而非信号传输距离本身（整个堆栈高度仍低于约 1 毫米）。

从带宽扩展路径看，HBM 通过极度并行化实现性能跃升：HBM3E 每个 DRAM 裸片有 128 个 Bank，HBM4 增至 256 个；外部接口 I/O 线路在接口长度（shoreline）基本不变的情况下从约 1,000 条翻倍至 2,000 条。HBM 由此从 HBM1 的 128 GB/s 带宽与 1 GB 容量，扩展至 HBM4 的超过 2.8 TB/s 带宽与单颗 24 GB 以上容量，代价是持续攀升的硅片消耗强度。

美光预期，随着 AI 工作负载细分，HBM 将从通用产品走向针对特定工作负载的定制化架构，处理器与配对内存将日益协同优化。封装技术也将从微凸块（micro-bumps）和热压键合向个位数微米间距的熔融键合（fusion bonding）和混合键合（hybrid bonding）演进。

三星路线图：base die 演进与 ZHBM 愿景

三星的三阶段路线图是本届大会最具前瞻性的技术披露之一。

第一阶段聚焦于将内存控制器从 XPU 迁移至定制化 HBM base die。三星估算，控制器约占 XPU 硅片面积的 5% 至 10%，将这部分空间释放给计算核心有望使性能提升 10% 至 20%。三星表示，大多数客户正在积极探索这一架构。

第二阶段利用定制化 HBM base die 周围未使用的边缘区域（shoreline），通过专用控制器和 PHY 直接连接第二层内存，预计延迟和带宽表现将优于基于 PCIe 的扩展方案，该第二层内存可以是 LPDDR 甚至 HBF。三星认为，随着上下文窗口和 KV 缓存扩大，容量的重要性已接近带宽。

第三阶段即 ZHBM：取消传统 2.5D 中介层，将 HBM 直接垂直集成于 XPU 顶部。通过移除横向 PHY/D2D 路径，I/O 和 TSV 结构可遍布整个芯片投影区域，目标能效约 0.5 pJ/bit，总 DRAM 功耗较 HBM5 降低约 70%，绝对功耗降幅超过 100W。不过，当前散热限制指向约 4 层堆叠，而非 12 层或 16 层，距离工程化落地仍有相当距离。

三星在计算卸载策略上保持克制：散热限制使得在 base die 中放置大量密集计算单元并不合理，优先选择将 LLM 推理中内存受限的 Attention 计算卸载至 HBM，计算密集型的 Prefill 和 FFN 仍保留在 XPU。接口策略上，三星目前倾向于专有 HBM 厂商接口而非 UCIe，理由是 UCIe 面积更大且功耗更高；其散热路径块（Heat Path Block）在覆盖足够热点区域时可将峰值温度降低 35% 以上。

ZHBM 还要求在小于 6 微米间距下实现晶圆级集成和混合铜键合，DRAM 与 SoC 设计之间长期存在的边界必须消除，两者需从设计之初就围绕布线、散热、功率密度和物理互连进行协同设计。

SK 海力士：封装极限与混合键合路径

SK 海力士的演讲聚焦于从 12 层向 16 层乃至 20 层扩展的封装工程挑战。

在其 16 层 HBM3E 测试芯片中，即便将总堆栈厚度从 720 微米增至 775 微米，单个 DRAM 裸片厚度仍需比 12 层方案减薄约 10%，片间间隙缩小约 50%，芯片翘曲控制与间隙填充难度大幅上升。SK 海力士指出，HBM4 的总厚度 775 微米已接近当前封装方法的实际极限，未来扩展不能无限依赖增加封装高度。

对于混合键合，SK 海力士认为其在 20 层左右将变得极具吸引力，但预计 HBM4E 阶段尚不会采用。假设的 20 层堆叠中，裸片厚度可增加约 20% 至 24%，热导率提升约 35%。即便如此，混合键合也无法解决 base die 局部热点问题—— SK 海力士正在开发 IHBM，通过在热点区域上方添加硅散热块改善局部散热，且需从设计初期协同优化，而非后期追加。

SK 海力士还判断，训练与推理最终可能采用不同的内存架构：训练需要兼顾高带宽与高容量，支持堆栈高度持续增加；推理则可能采用较小规模的极高带宽内存池，将带宽不敏感数据放置于 LPDDR 或其他低成本层级。

英伟达与 RISC-V：CUDA 生态开放新路径

英伟达的演讲标志着其 AI 生态系统策略的实质性进展。一年前，将 CUDA 引入 RISC-V 面临的最大障碍是缺乏合适的 RVA23 硬件；如今，英伟达实验室已拥有至少三款 RVA23 处理器，SiFive 在 Hot Chips 大会期间完成了 CUDA 在 RISC-V 硬件上运行的首次公开演示。

英伟达演讲者 Franz 明确，其出发点是符合 RVA23 配置文件和 RISC-V 服务器平台规范，英伟达不希望为 CUDA 制定单独的 RISC-V 规范。CUDA 的特定额外要求仅约两页，核心包括 PCIe 缓存一致性（避免 GPU DMA 过程中的显式 CPU 缓存操作）和 PCIe 点对点通信（支持 GPU 间直接数据交换）。

NVLink Fusion 为这一路径提供了商业逻辑：客户可使用定制 CPU 或加速器，同时保留英伟达大部分机架级架构。RISC-V CPU 由此可在专用系统中替代英伟达基于 ARM 的主机处理器，关键要求是集成英伟达 C2C 网络——该网络可提供高达 PCIe 约 5 倍的带宽和一致性。Franz 的明确表态是，RISC-V 的吸引力不在于 x86 或 ARM 的不足，而在于众多厂商可针对重要利基市场进行定制化实现，而这些市场未必能获得大型现有 CPU 供应商的专项支持。

配合英伟达的推进，Canonical 已在 Ubuntu 26.04 LTS 中将 RVA23 设为官方 RISC-V 基准，约 95% 的常规 Linux 软件包存档已可用；RISC-V 国际基金会及 SiFive 的 Krste Asanovi ć 表示，多家供应商将于今年向市场推出 RVA23 服务器级芯片，大部分矩阵扩展工作预计在未来 12 至 18 个月内完成批准。RISC-V 软件与硬件生态的协同成熟度正在加速提升。