驱动之家 22小时前
内存还凭啥大涨价 DS V4.1 Flash优化之神:HBM、SSD用量暴跌75%以上
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 9 月 10 日消息,这一年来内存、SSD 价格大涨了 5-10 倍,这跟 AI 需求有关,然而今天正式发布 DeepSeek V4.1 Flash 不一样,它极大地减少了 HBM 内存及 SSD 的用量,只有之前 1/4 到 1/8 需求。

DeepSeek V4.1 Flash 虽然从名字上看比之前的 V4.0 只进化了 0.1 版,但本质上已经是不同的大模型了,V4 Flash 是 2820 亿参数量底座,激活 130 亿参数。

而 V4.1 Flash 是 Causal-Encoder-Decoder 全新结构,有 5520 亿主干参数,还外挂了 1960 亿参数的 Engram 条件记忆,输入激活 80 亿参数,输入激活 160 亿参数,不对等了。

V4.1 Flash 的整体规模提升了一倍多,但实现的效果是速度更快,前两天测试的时候能达到 500-600Token/s,速度是 V4 Flash 的 3-4 倍,现在人多了也差不多是翻倍速度。

价格也降回来了,API 缓存命中价格跌了 60%,综合下来每个人的使用成本大约能减半,不用肉疼了。

这一切是怎么做到的呢,只能说 V4.1 Flash 就是 AI 基建优化之神,尤其是 KV Cache 缓存方面,主缓存改成 FP4,再加跨层复用,每个 Token 的全局 KV 只剩 890 字节,约为 V4 Flash 的 1/4;长期放在 SSD 或内存里的缓存进一步降到约 1/8。

换句话说,V4.1 相比 V4 只需要很少的 HBM 及 SSD 硬盘,降幅超过 75%,如果这个技术能全面推广开来,那全球 AI 对内存及 SSD 的需求至少可以减少两三倍。

要知道三星、SK 海力士及美光等公司把内存价格大涨 5-10 倍的理由就是 AI 需求过高,但实际的需求缺口也就是 5-10% 而已,V4.1 Flash 这个技术普遍使用之后,AI 的需求量就不可能有这么夸张了,没法支撑三星等公司的大肆涨价理由。

【本文结束】如需转载请务必注明出处:快科技

责任编辑:宪瑞

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

flash ssd ai 海力士 效果
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论