快科技 9 月 3 日消息，DRAM 供应持续紧张，已将 AI 巨头逼到拆旧服务器回收内存的地步。

谷歌供应链基础设施高级总监 Nikhil Cherian 近日透露，AI 行业已从算力受限快速转向内存受限，高性能内存目前占单台 AI 服务器物料成本的约 75%。

据 Cherian 介绍，为突破内存瓶颈，谷歌在软硬件两端同时发力，硬件层面甚至建立了内部回收供应链，将退役服务器拆解后回收可用的 DDR4 内存模块。

Cherian 坦言，谷歌专门设计了硬件转接器，使上一代 DDR4 内存能够连接到新一代 AI 服务器上，并且正在专门重新导入退役服务器以拆取其中的 DDR4 模组。

这意味着原本应使用 DDR5 的新 AI 服务器，在部分情况下不得不降级使用回收的 DDR4。

软件层面，谷歌持续优化底层函数库、模型架构和 KV Cache 压缩技术，试图降低单位算力的内存消耗。

今年谷歌推出了两款 TPU ASIC，分别是面向训练的 TPU8t 和面向推理的 TPU8i，其中 TPU8i 每颗芯片配备 288GB HBM3e，提供 8.6 TB/s 内存带宽，并集成 384MB 片上 SRAM 用于存储活跃的 KV 缓存，减少对外部系统内存的查询需求。

TPU8i 服务器采用谷歌自研基于 Arm 架构的 Axion 处理器替代传统 x86 主机 CPU，依赖高速 DDR5 内存架构处理数据预处理等主机级任务。

然而即便如此，谷歌仍被迫在部分场景中以回收的 DDR4 替代 DDR5，足见当前 DRAM 供应紧张程度之深。

【本文结束】如需转载请务必注明出处：快科技

责任编辑：黑白