智东西 01-15
XSKY发布AIMesh,想帮AI工厂打通数据“任督二脉”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

智东西

作者 | 陈骏达

编辑 | 心缘

智东西 1 月 15 日报道,今天,国内软件定义存储厂商 XSKY(星辰天合)推出了专为 AI 场景打造的全栈 AI 数据方案 AIMesh,其中包含 MeshFS、MeshSpace、MeshFusion 三大产品,分别针对制约 AI 效率的 IO 墙、数据重力墙和内存墙。

XSKY CEO 兼联合创始人胥昕认为,大模型时代,算法同质化趋势愈发明显,真正的差异化竞争优势是企业自身的专有数据。

企业不仅需要高速的存储,也需要一个私有化、安全、可控的 AI 数据底座。XSKY 想做的就是让私有数据在企业内部安全地转化为智能。

XSKY 还宣布其战略重心从 " 信息技术(IT)" 全面转变为 " 数据智能(Data Intelligence)",希望打造中立、解耦的 " 数据常青 " 底座,帮助企业构建高效、可控的 AI 工厂。

一、AI 效率撞上三堵墙,AIMesh 可实现带宽、读写性能大幅提升

胥昕称,过去⼗年,我们处于信息技术时代,数据中⼼是⼀座严谨的图书馆,价值在于 " 存得进、找得到 "。但现在,我们进⼊了数据智能时代,数据的价值,正在从 " 被检索 " 进化为 " 被计算 "。

然而,传统的存储架构已经无法支撑 AI 时代的需求。AI 效率撞上了 " 三堵墙 ",在⼤量训练与数据⼯程场景中,GPU 利⽤率被 I/O 等待拉低到 30 ‒ 50%,极端情况下更低。

"IO 墙 " 的出现,是由于算力吞吐速度远大于存储读写速度,导致计算单元空转。

" 内存墙 " 指的是模型参数量的爆发式增长,受限于显存容量的物理限制。" 重力墙 " 指的是数据体量几何级数增长,造成跨域流动成本高企,形成新的数据孤岛。

AIMesh 是 XSKY 为 AI 场景打造的全栈 AI 数据方案,旨在帮助企业突破上述 " 三堵墙 "。其定位为面向 "AI 工厂 " 的数据与内存网,由三大组件构成:训练数据网 MeshFS、全局对象网 MeshSpace、推理内存网 MeshFusion。

1、训练数据网 MeshFS

MeshFS 是面向 AI 训练场景的并行文件系统,拥有全协议兼容、线性性能与企业级智能分层能力,能把训练数据快速供给 GPU,缓解 I/O 等待导致的算力浪费问题。

实测数据显示,MeshFS 在顺序读带宽上比行业通用方案提升 30%,顺序写带宽超出 50%。

2、全局对象网 MeshSpace

MeshSpace 是面向 EB 级数据的全局非结构化数据平台。通过统一的全局命名空间,MeshSpace 实现了跨地域、跨异构存储的数据流动与统一纳管。

升级后的 XScale 引擎实现了单桶百万 OPS 的效果,单个对象存储桶每秒支持高达一百万对象写入,大块写性能提升近 50%,延迟降低 30%。

3、推理内存网 MeshFusion

MeshFusion 是面向 KVCache 的 " 持久化内存 " 方案。它将服务器本地 NVMeSSD 转化为 L3 级外部内存,硬件成本仅为传统方案的 1%,可实现近乎无限的上下文窗口。

实测显示,其与纯 DRAM 的性能差距控制在 10% 以内,高并发场景下吞吐量线性增长,资源受限状态下能实现 20% 的性能反超,大幅降低 AI 推理硬件投入成本。

二、坚持不绑定任何算力和云环境,与 MiniMax、英特尔、ZStack 均有合作

胥昕透露,近 3 年,星辰天合实现了超过 50% 的增长,全闪存占比达到了 35%,拥有 280 个 10PB 级以上的超级集群,并突破了单机群百 PB 的技术⻔槛。

由于架构、算法的不断变迁,今天的顶流大模型明天可能就被颠覆。XSKY 给出的解决方案是 " 坚持开放解耦,做绝对中⽴的数据底座 "。

AIMesh 的设计采取了中立原则。胥昕称,XSKY 不绑定任何算力和云环境,⽆论选择英伟达、昇腾、寒武纪、摩尔线程、沐曦等算力,⽆论是在私有云还是混合云,AIMesh 都能提供统⼀、标准的数据服务。

胥昕认为算力的摩尔定律正在失效,而数据的价值定律正在生效。每一代新硬件的生命周期可能只有 3 到 5 年,但数据资产要存续 10 年甚至 20 年。他们希望⽤确定性的数据能⼒,去对抗不确定性的技术变⾰,这就是 XSKY 定义的主题⸺数据常⻘。

XSKY 的产品在多家头部客户与行业巨头的业务中获得验证。

上海大模型厂商 MiniMax 的 PB 级核心训练数据与推理模型数据,一直稳定运行在 XSKY 平台上。MiniMax 认为 MeshSpace 的全局命名空间,可为混合云 " 数据孤岛 " 问题提供解决方案,MeshFS 的高吞吐低延迟也将进一步保障训练效率。

英特尔与 XSKY 的合作已经超过 10 年。XSKY 曾与英特尔进行技术共创,入选英特尔精选解决方案,并成为英特尔 CPU 新品首发伙伴。

XSKY 的 MeshFS 针对英特尔至强处理器指令集深度优化,MeshFusion 则利用了 NVMe SSD。这些方案实现了 " 软硬协同 " 的效果,双方还在联合预研基于 CXL 技术的内存池化方案。

云基础软件提供商 ZStack(云轴科技)在云计算时代就开始与 XSKY 合作。ZStack 正在构建新一代智算平台,其 AIOS 产品与 XSKY 的 AIMesh 设计高度契合。

结语:AI 驱动的存储市场愈发庞大

随着大模型不断演进,其背后的数据规模与处理复杂度迅速攀升,存储系统已成为 AI 计算的关键参与者。黄仁勋预测,由 AI 驱动的存储市场 " 未来很可能成为全球最大的存储市场 "。

目前,XSKY 的产品已经应用于 3000 多家客户,并在金融生产系统、运营商海量并发场景、自动驾驶算力中心等对性能和可靠性要求较高的领域实现规模化落地。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

aimesh ai 信息技术 gpu
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论