近日，高通发布了面向 AI 数据中心市场的高带宽计算架构（HBC，High-Bandwidth Compute），高通表示，该架构可实现更低的单位 Token 能耗、更高的有效存储带宽，同时降低系统总体拥有成本。

如今，制约大模型落地的核心瓶颈已经不再是算力芯片的算力不够，而是行业反复提及的 " 内存墙 "，过去行业最简单的解法是不断加购显存、堆叠硬件。但到了今年，行业共识已然转向，不再靠硬件堆料硬扛内存墙，而是走软件盘活存量、硬件重构底层两条互补路径，全产业链协同重塑存储与算力的协作逻辑，用巧劲撬开这堵厚重的存储墙。

内存墙出现本质是 CPU/GPU 算力提升速度，远远超过内存读写带宽、延迟的提升速度，算力芯片运算速度快，但数据存取跟不上，处理器大部分时间闲置等待数据，导致算力与存储之间产生的巨大性能鸿沟。

数据显示，2024 至 2026 年，主流大模型参数量暴涨百倍，上下文窗口从万字级拓展至百万字级，但服务器内存带宽年均提升不足 15%，远滞后于 AI 业务增速，软硬件迭代速率的严重错配，让内存资源低效浪费问题全面爆发。

当前 AI 推理产业面临三重核心存储困境，且无法通过传统硬件扩容解决。一是显存与高端内存资源极度稀缺，单台 AI 推理服务器的 DRAM、HBM 消耗量是传统数据中心服务器的十倍以上，全球近六成 DRAM 晶圆产能被 AI 集群占用，消费电子与中端服务器产能持续被挤压，HBM 更是长期处于锁单缺货状态；二是存储资源利用率极低，传统架构下 GPU 无法直接调度外部存储，大量低频 KV 缓存、闲置权重参数持续占用高价 HBM 显存，推理过程中临时张量、碎片化缓存造成 30% 以上的内存无效占用，资源浪费严重；三是存储成本居高不下，内存相关支出占据 AI 服务器硬件总成本一半以上，中小企业因存储门槛无法落地大模型服务，头部厂商也因存储产能限制，难以无限扩容推理集群。

面对这些难题，各大企业都在布局针对性的软硬件存储优化技术，通过精细化调度、数据压缩、架构重构、生态联动全方位破解内存墙桎梏。

软件层面革新的核心逻辑只有一个：不新增任何存储硬件，通过压缩、分层调度、跨设备资源复用，盘活服务器闲置内存与闪存，削减高价显存无效占用，落地门槛低、见效快，是当下行业主流过渡方案，市面上各类厂商自研工具、量化算法，都是这套思路的具象落地。

行业统一将 KV 缓存作为显存消耗核心攻坚对象，优化方向分为两大分支。一是无损低比特量化压缩，跳出传统量化损伤模型精度的局限，依靠数学变换、误差校正机制，在极低比特位宽下维持模型输出效果，直接压缩显存占用、拉高推理吞吐。谷歌推出的 TurboQuant 是这条路线的典型验证案例，依托极坐标变换与误差校正实现 3 比特近乎无损 KV 缓存压缩，实测长文本场景显存占用压缩 6 倍、推理吞吐提升 8 倍；英伟达的 NVFP4 量化套件同样落地该逻辑，3 比特档位精度损失控制在 0.8% 以内，其研究团队还提出一种 KVTC（KV 缓存变换编码）技术，更是将压缩理论上限推至 20 倍，进一步印证低比特压缩的优化潜力。

二是全域分布式分层调度，打通 GPU、HBM、主机 DRAM、本地闪存、远端存储多层介质，依靠冷热数据自动分流打破单卡显存孤岛，降低硬件综合成本。英伟达的 Dynamo 1.0 推理操作系统搭配 BlueField-4 CMX 平台完整落地这套机制，自研缓存管理、低延迟 RDMA 传输模块自动区分高、中、低频上下文，温冷缓存下沉至共享存储池，在 GB200 集群实测 MoE 模型吞吐最高提升 7 倍，单位 Token 硬件成本下降 40%；AMD 收购的 MEXT 推出的 AI 预测内存技术则是补充了闪存扩容分支的落地案例，通过算法抹平闪存与 DRAM 性能差距，实现可用内存扩容 2~4 倍、基础设施成本减半，完善了低成本扩容的软件解法。

整体来看，所有软件技术都围绕 " 存量挖潜 " 展开，只是厂商基于自身芯片、DPU、处理器硬件禀赋，选择了压缩、集群调度、闪存扩容不同侧重，但底层目标一致。

软件优化仅能在现有硬件框架内做资源再分配，无法突破芯片互联、存储介质的物理上限，想要承载万亿参数模型、大规模 AI 智能体并行任务，必须重构存算协同底层硬件架构。

当前行业也因此演化分化出三条主线：一是拉高单节点高速存储上限，打造一体化高性能整机集群。核心思路是提升原生 HBM 规格、新增专用存储硬件分担缓存压力，重构总线通路实现 GPU 直连外部存储，搭建多层级硬件存储底座。例如，专为破解长上下文 KV 缓存显存挤占问题打造的 BlueField-4 STX 专用存储机架，是英伟达 Vera Rubin 全栈 AI 计算存储平台中支撑本路线的核心落地方案。整套平台以 NVL72 GPU 机架作为算力底座，单卡搭载 288GB HBM4、单机架合计 20.7TB 高速显存，留存用于超低延迟实时交互热数据，STX 机架则新增独立 CMX 上下文存储层，作为外置共享缓存池承载海量复用型 KV 缓存，从硬件层面拆分冷热数据、分流显存负载，相较传统方案集群 Token 处理效率提升 5 倍；此外，英伟达与亚马逊联合推出的 GIDS 直通技术，实现 GPU 绕开 CPU 直连 SSD，整机有效可用存储硬件扩容 16 倍，整套分层架构实测证明，依靠外置专用存储池分担显存压力，可稳定支撑百万 Token 超长上下文、上千智能体并行的高负载推理场景。

二是搭建标准化通用共享内存池，走开放兼容路线。依托通用互联协议打通全品类算力与存储，整合分散内存资源形成统一逻辑池，不绑定自有硬件，适配多品牌混合部署。英特尔以 CXL 2.0 架构为核心落地该方案，依托至强 6 代处理器原生协议打通 CPU、GPU、FPGA 与各类内存介质，联合阿里云、腾讯云、美光完成商业化落地，也是当前跨节点内存共享成熟度最高的方案，用产业生态合作成果验证开放内存池的规模化落地能力。

来源：英特尔官网

三是补齐大容量低成本高速存储介质，构建混合分层存储体系。针对 HBM 带宽高、容量小、造价昂贵的短板，研发新型高带宽闪存作为中频缓存载体，形成 "HBM 热数据 +HBF 中频缓存 + 普通闪存冷数据 " 三级硬件架构。SK 海力士与闪迪联合研发的 HBF 高带宽闪存是这条路线的核心验证载体，单模块最高 512GB，容量为同规格 HBM 的 8~16 倍，读取性能远超传统 SSD，还能降低成本。

与上述三种方式不同，高通近期提出的 HBC 高带宽计算 3D 堆叠架构较为新颖，将加速器置于 LPDDR 堆栈下方，通过 TSV 直连规避 HBM 成本。官方数据显示，HBC 相较传统 HBM 实现每瓦带宽提升 6 倍，对比 SRAM 达成每瓦容量提升 200 倍。第一代 HBC Gen1 搭载于 AI250，单卡读写带宽 133TB/s，相较 AI200 带宽提升 18 倍；新一代 HBC Gen2 赋能 Dragonfly AI300 推理加速器，整体性能较 AI200 提升 54 倍，单卡每瓦内存带宽相较主流 GPU 架构高出 4 至 8 倍。

业内专家指出，软件算法承担短期降本、缓解显存紧缺的任务，革新的硬件架构打开长期性能天花板，软硬协同、分层混合存储，将是未来很长一段时间破解内存墙的核心产业路径，其影响不止于推理提速、硬件成本下降，更会重塑全球存储供需格局与定价体系，降低中小企业落地大模型的硬件门槛，缓解行业普遍存在的内存资源浪费问题。