快科技 1 月 29 日消息，随着代理式 AI 应用的快速扩张，AI 系统对内存的需求正在发生结构性转变。

据报道，AMD 和高通正在评估在下一代 AI 产品和机架架构中引入 SOCAMM 内存模块。

SOCAMM 最初被视为专为 NVIDIA 设计的内存标准，与传统焊接在主板上的 LPDDR 不同，SOCAMM 采用模块化设计，可更换、可升级，并在容量、功耗和系统弹性间取得平衡。

而在代理式 AI 架构中，模型需要长时间维持上下文、状态和任务记忆，这使得系统对短期但大容量内存的需求显著增加。

与单纯依赖 HBM 相比，业界逐渐意识到需要引入另一层在成本、功耗和容量之间取得平衡的内存设计，因此，SOCAMM 受到了广泛关注。

相关人士指出，SOCAMM 可以让单一 CPU 或加速器平台配置达到 TB 级内存容量，使 AI agent 能同时维持数百万个 token 的活跃状态。

虽然其带宽和吞吐量不及 HBM，但在功耗效率和系统扩展性方面具有优势，被视为适合与 HBM 搭配使用的内存层级。

市场消息还显示，AMD 和高通在 SOCAMM 的模块设计上可能采取与 NVIDIA 不同的路线。

这两家公司正在评估以方形模块形式配置 DRAM，并将 PMIC（电源管理 IC）直接整合到模块本体之上，使电源调节可以在模块端完成。

在产品进度方面，NVIDIA 已计划在其 Vera Rubin 中引入新一代 SOCAMM 2，并预计随着出货规模的扩大，SOCAMM 将成为 AI 系统的重要内存配置之一。

此前还有消息称，NVIDIA 已向 DRAM 厂商提出了 SOCAMM 的年度需求规划，三星是主要供应来源，其次是 SK 海力士，美光则位居其后。