大数据在线 08-22
AI数据平台,中国或有更优解
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

在生成式 AI 重塑世界的进程中,数据存储的一场深层次变革已全面启动。

当 AI 大模型参数超越万亿级,AI 推理全面走向工业化,Manus、Dify 等 Agent 全面爆发之际,高质量的数据集、全新的接口协议和高效快速的数据综合处理带来一系列全新存储挑战。此刻,算力对于 AI 应用与发展依然重要,但没有与之匹配的存力进行高效协同,再强大的算力也无用武之地。

因此,统一的 AI 数据平台迅速崛起,成为存力发展的重要趋势和数据存储产业的焦点。AI 数据平台将块存储、文件、对象、表格、向量乃至事件流整合到统一的存储之中,既兼容传统的通用应用场景,又高效支撑起新型 AI 应用场景,更彻底消除数据孤岛,让数据价值得以全面释放。

毫无疑问,与算力一样,存力也即国力。在中国市场全面受制于先进 AI 芯片的不争事实面前,AI 数据平台极具市场价值,它不仅为存算协同、以存代算带来更优解,也有望成为中国数据存储产业在 AI 时代走向辉煌的起点。

01

AI 数据平台崛起

AI 大模型的爆发,让 VAST DATA 这家公司频繁进入大众的视野。作为一家成立仅九年的公司,VAST DATA 如今估值达到 300 亿美元,超过绝大多数传统存储公司。

VAST DATA 之所以能在产业格局早已固化的数据存储领域脱颖而出,关键在于其面向 AI 时代构建数据平台的理念引发关注。众所周知,随着 AI 大模型的快速迭代与进化,数据存储的核心需求发生根本性变化,存储基座全面走向重构,AI 数据平台的价值全面显现。

其一、从 CPU 转向 GPU 的计算范式变化,推动 GPU+NVMe 全闪 +RDMA 网络成为新的技术堆栈标准。而 GPU 集群规模的持续增加,也导致吞吐量、并行复杂性和延迟敏感度大幅提升,AI 训练、推理等工作负载追求高并发、低延迟、高吞吐的极致性能。

例如,随着大模型参数规模的不断增加,模型训练多节点梯度同步 GB/s 级的并发,导致整个 AI 集群的并发复杂性持续提升;同时,AI 推理对于延迟极为敏感,推理更是延迟>1ms 即触发降级,这些都对数据存储的极致性能提出极大挑战,也让传统存储举步维艰。

其二、AI 进入到全新发展阶段,多模态成为 AI 大模型重要趋势,加上 Agent 应用的大量涌现,不仅释放出大量的推理需求,更直接推动 Agent 生态初步形成,这直接诞生出多模态数据统一管理、中间结果缓存复用、长效记忆能力构建等全新的存储需求。

以推理为例,国内先进算力稀缺的现实状况不容忽视。因此,存储层面的以存带算意义重大。存储需要肩负起记忆持久化,基于 KV Cache 来避免 AI 推理算力的重复运算,推动存算协同的高效运行。

其三、除兴起的 AI 应用场景之外,企业依然有着像数据库、虚拟化、通用文件等大量传统应用场景,二者之间在 IOPS、延迟、接口等存储需求迥异,存储基座需要减少数据存储层的复杂性,兼容过去和支持未来,并进一步强化数据安全和彻底消除数据孤岛。

显然,面对数据存储核心需求的根本性变化,软硬件架构设计陈旧的传统存储已无所适从,AI 数据平台则加速接过传统存储的接力棒,成为众多企业在 AI 时代构建存储基座的首先。

" 存储的角色不再是传统的数据持久化,而是支撑万亿参数大模型高效训推和 Agent 行动闭环的智能枢纽。" 华瑞指数云 CTO 曹羽中指出。

与 VAST DATA 类似,华瑞指数云(ExponTech)也是一家致力于 AI 数据平台创新的存储公司。事实上,在传统存储软硬件架构缺陷持续放大的背景下,AI 数据平台已然成为中国发展先进存力最重要的创新方向之一。

那么,以华瑞指数云为代表的中国存储公司能否为 AI 时代的存储基座带来更优解?

02

中国或有更优解

旧的范式走向终结,新的力量也即破土而出。

相比于传统存储,AI 数据平台就像一个重新设计的六边形战士,真正在产品层面掀起变革浪潮,满足用户 " 既要、又要、也要和还要 " 的全面需求。

以华瑞指数云的 AI 原生智能数据平台 --WADP 为例,其为 Agent 时代和多模态 AI 设计了多协议的融合,是全球唯一能同时覆盖企业关键业务与 AI 工作负载的分布式存储软件,可以帮助企业构建统一、智能、无限扩展的存储基座,以一套存储平台满足全场景数据存储需求。

具体来看,WADP 首先是一款 AI Native Universal Storage,采用模块化可组合式架构设计理念,在 WiDE 分布式数据引擎和天枢元数据引擎基础上,开发出 WDS、WFS、WOS 和 WQS 等一系列组合产品。这种架构设计的好处就是 WADP 产品组合中任何一款产品均能够单独为企业所使用,又能够通过组合式架构以一套存储平台满足全场景需求。

众所周知,传统存储最大诟病就是不同场景的部署与使用往往需要不同的存储方案,数据、协议、系统之间不互通和协同性差,导致基础设施扩展性差、数据孤岛林立和数据价值无法高效释放。而 WADP 则采用多协议融合的设计理念,同一份数据基于丰富的协议接口,无需来回移动拷贝数据,实现无缝互通。

其次,性能与效率仍然是当下 AI 基础设施的核心挑战。WADP 这位 " 六边形战士 " 在性能和效率上同样不打折扣,关键业务与 AI 工作负载等场景下均表现出色,实现 " 全面 " 和 " 专精 " 二者兼得。

以面向企业关键业务场景为例,WADP 在全球存储性能委员会 SPC-1 评测以 SDS+ 普通服务器的方式勇夺全球第一,一举打破高端存储多年的垄断,在性能、延迟和性价比上全面领先,彻底颠覆 SDS 性能羸弱的刻板形象。曹羽中透露,其 WADP 在现实中已经完成多个高端存储迁移项目,帮助企业承接 OLTP 等核心业务工作负载。

又如,在面向 AI 的训练与推理场景中,WADP 在今年的 MLPerf Storage v2.0 测试结果表现优异,Resnet50 模型训练测试中单客户端支持的 GPU 卡数和带宽排世界第一;Llama3 模型测试仅使用其他评测方案 1/5 的 SSD,在 Checkpoint 写入带宽排世界第三,硬件利用效率极为高效。

"MLperf 测试现阶段更加鼓励存储厂商用各种创新方案去验证如何满足 AI 场景的需求。华瑞指数云 WADP 展示了软件方案搭配极简硬件 ( DPU+JBOF 盘框 ) 同样能做到超级 IO 处理效率、超高的容量密度和性能密度,且总体拥有成本远低于其他方案。" 曹羽中介绍道。

第三,与大部分传统存储不同,WADP 设计之初就是为 AI-Ready 而准备,满足训练推理、KVCache、RAG 场景优化、Agent 等 AI 场景的全栈存储需求;同时,WADP 研发也着眼于未来在数据类型、接口协议等未来的演进,推动 AI 算力与存力的无缝协同,让企业数据通过存储基座源源不断为 AI 提供 " 燃料 "。

以 KVCache 为例,对于国内众多用户而言,AI 芯片、HBM 等在 AI 场景中至关重要,但价格昂贵且受限;随着 DeepSeek 等开源大模型的大幅进步,推理时代的全面到来,如何在有限的硬件条件下提升推理速度、降低推理成本就成为当前所有用户都需要面对的一道难题。

对此,WADP 的 WQS SSD KVCache Pool 功能以原生 KV 接口实现与 HBM 或者 RAM 对接,支持远端和本地 SSD 形成 KVCache Pool,为 HBM 提供无限扩展的全局共享外部存储空间,实现超高吞吐、极低时延的推理体验,同时广泛兼容国内外主流推理框架,真正实现以存代算,大幅度降低推理场景的算力成本。

曹羽中强调:" 现在存储业界都在卷 IOPS、时延、带宽等性能指标,这是一个误区。性能固然是 AI 应用以及企业核心应用的刚性需求,不过达到一定指标之后,存储的核心价值一是更多在于对于通用和 AI 场景的高效支持;二则是摆脱传统存储协议和 IO 架构的束缚,面向 AI 场景设计新的接口方式和新的 IO 路径,更高效的与算力以及 Agent 协同,这两点也是 WADP 一直在坚持的方向。"

03

产业拐点,让未来更有数

不可否认,随着 VAST DATA、Hammerspace、WEKA 等一批美国存储初创公司全面崛起,全球数据存储产业正因为 AI 而进入到一个重要拐点。

对于中国数据存储产业而言,在经历了传统存储阵列时代的艰难追赶之后,随着 AI 数据平台崛起,真正迎来全新的产业契机。这一次,中国存储公司与海外存储先锋站在同一起跑线,有望在未来广阔的市场舞台上全面施展。

其一,中国市场已具备良好的 AI 数据平台土壤。IDC 数据显示,2024 年国内市场的传统阵列占比开始下降到 50% 以下,分布式存储、SDS 等被越来越多用户所接受和使用。在传统存储阵列市场逐步下滑和式微之际,华瑞指数云等多家国内存储公司持续的深耕,让基于分布式存储软件的 AI 数据平台成为中国存储产业最重要的赛道之一。

其二,AI 数据平台尚处于发展的早期,路径依赖和依托国外开源的 " 拿来主义 " 绝非长远之计。华瑞指数云用 WADP 证明,全自研固然艰难,但绝非遥不可及。此外,AI 数据平台在 AI DATA、接口协议等方面依然有着极大探索与创新空间,坚持自研必然会获得市场、用户更加广泛的认可。

综合观察,一直以来,数据存储都以技术难、研发投入大、市场门槛高著称。当算力在 AI 时代狂飙时,AI 数据平台崛起,存力作为基座与支柱的价值愈发被认同,数据存储产业也开始走向蜕变。面向未来,随着华瑞指数云这样的探路者陆续涌现,中国存储产业走向辉煌指日可待。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 脱颖而出 gpu ai时代 中国市场
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论