2026 年 8 月 23 日，在加州斯坦福大学举行的 Hot Chips 2026 大会 "Day 0" 教程中，美光科技（Micron Technology）HBM 设计架构研究员 Raghu Sreeramaneni 提出核心观点：在不升级内存代际的情况下，单纯提升浮点运算性能无法解决 AI 芯片算力与内存供给之间的差距。该差距每两年扩大相当于额外 50 的量，这一演示将业界关于 " 内存墙 " 的模糊讨论转化为具体的算术问题。
本周，Hot Chips 2026 正在斯坦福大学举行，美光、三星和 SK 海力士均展示了专用高带宽内存（HBM 环节）。这种行业汇聚表明，对于 2026 年及以后构建或采购加速器的各方而言，内存限制已成为 AI 硬件设计的核心议题。
算力增速远超内存，差距持续复利扩大
Sreeramaneni 指出，AI 加速器的 TFLOPS（每秒万亿次浮点运算次数）约每两年增长三倍，而 HBM 带宽同期增长不足两倍。随着硬件代际更迭，若系统 TFLOPS 是前代的 3 倍，但内存带宽仅为 2 倍，实际 AI 吞吐量最高只能达到 2 倍，且通常更低。由于大多数大型语言模型推理工作负载受限于内存带宽而非计算能力，计算单元常处于等待数据的空闲状态。每过两年，这种空闲程度会略微恶化。
" 内存墙 " 术语由 Wulf 和 McKee 于 1995 年首次提出。美光此次量化了 AI 语境下内存墙的上升速度，并确认即使考虑到 HBM 发展至 2038 年的完整轨迹，这一瓶颈也无法完全消除。
HBM 架构解析：硅成本为何是 DDR5 的三倍
HBM 并非 DDR5 的简单提速版。标准 DDR5 模块将扁平 DRAM 芯片焊接至电路板；而 HBM 采用多颗 DRAM 芯片（通常 8 至 12 颗），减薄后垂直堆叠，并通过数千个硅通孔（TSV）连接，最终通过先进封装固定在硅中介层上，与计算芯片并排安装。封装完成后，内存与计算成为整体，现场无法单独升级。
HBM 的带宽优势源于其宽接口：DDR5 使用 64 位通道，HBM3E 使用 1,024 位接口，HBM4 则翻倍至 2,048 位。总线越宽，并行移动数据越多，但代价高昂。设计复杂性、TSV 形成和先进封装导致 HBM3E 提供相同存储容量时，消耗的制造硅面积约为 DDR5 的三倍。
数据显示，一个典型的现代 AI 加速器封装包含一个基础芯片和八个使用十二层堆叠的 HBM4 实例，总表面积超过 12,000 平方毫米。其中内存硅面积超过 GPU 芯片本身表面积的八倍。在现代 AI 加速器封装中，内存而非 GPU 才是主导组件。
从 HBM3E 到 HBM4：制造挑战与经济账
HBM3E 每个 DRAM 芯片拥有 128 个存储库，通过 1,024 个 IO 连接通信；HBM4 将这两项指标均翻倍。随着 IO 数量翻倍，中介层布线密度需成比例增加，TSV 形成工艺更苛刻，良率压力随之增加。HBM 与 DDR5 之间三比一的硅成本比例反映了这一制造现实。
美光 2026 年全年 HBM 供应已在年初前签订合约，HBM4 于 2026 年初开始为英伟达 Vera Rubin 平台供货。美光预测，全球 HBM 总可寻址市场将从 2025 年的约 350 亿美元增长至 2028 年的约 1000 亿美元，年复合增长率约为 40%。
可靠性挑战：纠错与热机械应力
现代 AI 训练对内存错误几乎零容忍。HBM 采用双层纠错架构：系统级别每次访问携带 16 位元数据纠错数据；DRAM 堆栈内部运行基于符号的里德 - 所罗门（Reed-Solomon）纠错码，以处理高密度下的错误模式。
热学可靠性方面，异构集成封装中各组件热膨胀系数不匹配，随温度变化产生热机械应力，可能导致分层或开裂。美光指出，随着堆叠增高，这一问题日益重要。缓解措施包括液冷、混合键合以及改变焊料成分和模塑材料。
封装技术：共封装光学与玻璃基板
当带宽需求超过增加 HBM 实例所能解决的范畴时，封装技术成为关键。共封装光学（CPO）将光收发器直接集成到加速器封装中，消除序列化步骤，降低多机架 AI 集群中节点间移动数据的延迟和功耗。CPO 通过将光连接本地化到封装内部，解决节点间带宽约束。
玻璃基板代表中介层的结构转变。相比有机基板，玻璃提供更紧密公差、更低信号损耗，并能容纳更大中介层，以适应持续增长 HBM 堆叠数量。台积电 CoWoS-L 和 CoWoS-R 格式代表了迈向大尺寸片上硅的中间步骤。
HBM8 路线图：差距仍未缩小
根据韩国科学技术院（KAIST）等机构研究，HBM5 预计 2029 年左右投产，带宽每秒 4TB；HBM6 在 2032 年左右达到每秒 8TB；HBM7 在 2035 年左右达到每秒 24TB；HBM8 在 2038 年左右达到每秒 64TB。尽管绝对值巨大，但按每两年三倍计算扩展率评估，计算增益仍超过带宽增益。内存墙并未关闭，而是随每个硬件周期向上漂移。
对于大型语言模型推理工作负载，相关指标是系统所携带 HBM 代际的带宽规格。配备较旧 HBM 代际的高 TFLOPS 芯片，在推理吞吐量上经常输给配备较新 HBM 代际的低 TFLOPS 芯片，因为推理受限于内存。
演讲影响：重新定义 AI 硬件评估标准
Hot Chips 是架构师披露决定未来 12 至 24 个月采购决策的技术与约束之地。美光展示的量化差异是一项设计约束披露，将指导超大规模企业、云服务提供商和企业 AI 买家在 2027 年和 2028 年指定系统的方式。
未经相应内存带宽数据和 HBM 代际指示符发布的原始 TFLOPS 指标，作为 AI 基础设施评估标准已变得不完整。通过移至新计算芯片并将 TFLOPS 翻倍，若保留相同 HBM 代际，可能在受内存限制负载上带来几乎零额外推理吞吐量；而移至较新 HBM 代际并保持计算不变，将带来可测量吞吐量改进。
HBM 带宽、硅成本、热性能和可靠性之间的权衡，将塑造接下来几代加速器的设计、规范和采购方式。美光在 Hot Chips 2026 上的演示从根本上承认，内存已取代计算成为 AI 硬件的核心设计问题，而紧随 HBM 堆叠之后的封装技术，将是赢得 AI 性能下一阶段战斗的关键。
常见问题解答
HBM 带宽何时能赶上 AI 计算吞吐量？
基于美光 Hot Chips 2026 数据及 KAIST/Tera HBM 路线图，答案是否定的。至少通过计划到 2038 年 HBM8 的轨迹，AI 加速器 TFLOPS 每两年增长三倍，而 HBM 带宽增长不足两倍。即使 HBM5 至 HBM8 提供巨大带宽增益，这些增益在每个步骤上都落后于计算扩展率。差距不会缩小，而是复利增长。
计算 - 内存差距对评估 AI 硬件有何意义？
对于受内存限制的推理工作负载，系统所携带的 HBM 代际比 TFLOPS 计数是更有意义的性能预测指标。具有更高 TFLOPS 但较旧 HBM 代际的芯片，通常比具有较低 TFLOPS 和较新 HBM 代际的芯片提供较低推理吞吐量。评估 AI 硬件时，应询问每堆叠带宽数据和 HBM 代际，并对内存指标赋予更高权重。
HBM 架构如何物理上提供高带宽？
HBM 用更宽接口替换传统 DDR5 窄 64 位通道—— HBM3E 为 1,024 位，HBM4 为 2,048 位。为实现此宽度并保持内存靠近计算芯片，HBM 垂直堆叠多个 DRAM 芯片，并通过硅通孔（TSV）连接。整个组件直接坐在 GPU 旁边硅中介层上，缩短信号路径。权衡在于制造复杂性和成本：一吉字节 HBM3E 消耗制造硅面积约是一吉字节 DDR5 的三倍。
什么是共封装光学，为何美光在内存演讲中包含它们？
共封装光学（CPO）将光收发器直接集成到芯片封装中。美光包含它们是因为大型 AI 集群带宽问题不仅涉及单节点内数据移动，还涉及数千节点间数据移动。当 AI 系统规模超出单台服务器容纳能力时，节点间带宽成为第二堵内存墙。CPO 通过将光连接拉近至接近计算芯片位置，减少电信号转换为光信号时的延迟和功耗，从而解决这第二堵墙。
【星途科讯 图文丨欧阳布布 首发于 ZAKER 科技，转载请注明出处】
