AI 推理的高成本一直是个痛处,而存储是其中的大头,尤其是 DRAM。一份来自 Citrini 的分析报告指出,随着 AMD 和苹果的双双布局,DRAM 在 AI 推理中的主导地位正在被打破。
AMD 近期收购了 MEXT,为闪存存储能力补充弹药;苹果则端出了 "LLM in a Flash" 方案,旨在让大语言模型在闪存上实现更高效的推理。这两个动作指向同一个趋势:将原本运行在昂贵 DRAM 上的推理数据,迁移到成本仅为 DRAM 1/55 的闪存上。

1/55 的价格优势是颠覆性的。传统上,DRAM 的高带宽保证了推理速度,但其高成本也限制了模型部署的规模化。现在,通过软硬件协同优化,闪存开始承担原本专属于 DRAM 的推理存储职责。这意味着,存储层级被重新定义:更便宜、更大的闪存层,正在成为 AI 推理新的基座。
尽管这一转换还需要解决延迟和带宽的挑战,但两大巨头的同时押注,已经指明了方向。分析师认为,这种从 DRAM 到闪存的迁移,正在潜移默化地重塑 AI 计算的存储层级,成本重心大幅下移,容量上限急剧上探。对于渴求大模型却又受限于显存预算的团队来说,这扇门一旦推开,AI 基础设施的成本结构或将迎来一次质变。


登录后才可以发布评论哦
打开小程序可以发布评论哦