驱动之家 07-31
推理加速存储AS3000G7发布:以存代算 节省算力消耗
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 7 月 31 日消息,据媒体报道,2025(第二届)产融合作大会在北京召开。会上,浪潮存储重磅发布了推理加速存储产品 AS3000G7,旨在解决大模型推理中因 KV Cache 重复计算导致的算力浪费和时延问题,为金融、科研等领域的模型规模化落地提供关键支撑。

当前,大模型推理高度依赖昂贵的 GPU 服务器,其利用效率直接决定了模型从 " 实验室 " 走向 " 生产线 " 的速度。

与此同时,IDC 预测未来五年智能算力规模将增长 1.7 倍,且到 2027 年,推理工作负载占比将超过 70%,提升 GPU 利用效率的需求愈加迫切。

浪潮存储 AS3000G7 创新性地提出 " 以存代算 " 方案。该产品能够集中存储所有 KV Cache 及多轮对话结果。

其架构将 KV Cache 从 GPU 本机内存,通过高速网络缓存至 AS3000G7。在后续对话中,系统可按需直接拉取缓存,彻底避免了重复计算。

这一突破性设计显著节省了算力消耗,提升了宝贵的 GPU 资源利用率,加速了大模型在实际场景中的高效应用。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

浪潮 gpu 科研 北京
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论