野生运营 8小时前
洛斯阿拉莫斯实验室联手芯片公司,存储写入速度提升39倍?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

高性能计算集群的存储瓶颈如何突破?当超算节点忙于模型训练或模拟运算时,每一次数据落地都可能拖累整个系统的吞吐效率。洛斯阿拉莫斯国家实验室和迈凌科技(MaxLinear)用一项联合演示给出了回答:将文件系统的关键操作从主机 CPU 卸载到专用硬件上,写入速度能飙升 39 倍,这一切还建立在数据保护完整的 ZFS 基础之上。

6 月 3 日,迈凌与洛斯阿拉莫斯实验室宣布共同开发面向大规模高性能计算环境的 OpenZFS 存储架构。项目的直接目标是为下一代 NVMe 闪存基础设施重新设计数据路径,把存储性能和容量同时向前推进一步。Gary Grider,洛斯阿拉莫斯国家实验室计算技术高级总监,解释了这次合作的出发点:实验室在评估中发现,迈凌展示的硬件卸载 ZFS 操作可以带来约 39 倍的写入提升和约 7 倍的读取提升,同时大幅降低主机 CPU 的参与度,却依然完整保留了 ZFS 的数据保护特性。Grider 指出的这一点,击中了许多大型计算中心长久以来的痛点——高性能文件系统本来就需要消耗可观的 CPU 周期,而只有把这些周期还给上层应用,才能让昂贵的计算资源真正投在刀刃上。

这里所谓的 " 硬件卸载 ZFS 操作 ",是把 ZFS 文件系统传统上由主机 CPU 执行的数据校验、压缩、去重、快照等任务,转移到专用的闪存控制器或存储加速器内部完成。这样一来,每次写入和读取都不再需要频繁唤起主机处理器,I/O 延迟自然急剧下降。而迈凌方面给出的性能实测也佐证了 Grider 的判断。迈凌连接与存储业务执行副总裁 Vikas Choudhary 透露,他们提供的 Panther 存储加速器能够在一体化的数据流中交付压缩、保护服务和数百吉比特的可扩展性,并全程维持 ZFS 级别的数据完整性。官方发布的测试数据显示,在使用 GZIP L9 压缩时,这套平台实现了 57 GB/s 的连续读取带宽和 47 GB/s 的连续写入带宽。

这个数字放在今天的存储语境中依然很有冲击力。以 47 GB/s 写入来换算,相当于每秒钟几乎填满 3 张满速的 PCIe 5.0 企业级固态硬盘的持续写速度,而且这还是在数据已经过 L9 级 GZIP 压缩的前提下——也就是说实际解压后的有效数据吞吐还要更高。Choudhary 也强调,该架构设计时就已经预留了进一步横向扩展的空间,这意味着无论是带宽还是容量,都可以随着闪存集群的扩张而线性成长。

观察整条信号链,迈凌嵌入其中的不只是一颗控制器,而是一套为高性能计算场景量身定制的存储加速方案。洛斯阿拉莫斯实验室选择与这家通信芯片公司合作,本身也折射出一种技术路线的趋同:过去由软件定义存储主导的超算辅助层,正在被越来越多地重构成软件与硬件的协同形态,而硬件承担的部分远不止于搬运数据,而是直接介入数据格式的管理和完整性校验。对于同时运营着数万台 CPU 核心和数千块加速卡的顶级实验室而言,能够卸载 ZFS 操作意味着可以把那些常年占用百分之十几 CPU 时间的存储任务清零,释放出来的算力足以支撑额外几百个并行作业。

迈凌本身的业务线条也为此提供了很好的注解。它并不是一家纯粹的存储公司,而是以通信系统级芯片方案起家,产品覆盖宽带接入、移动基础设施、有线网络、数据中心以及工业与多市场应用。这种跨越连接与计算的基因,让它在设计 Panther 加速器时天然就考虑到了在网卡和存储控制器之间做紧耦合。而截至 7 月 1 日,MXL 股价今年以来已录得超过 507% 的涨幅,显然市场对这一技术外溢到更多数据中心和边缘计算应用抱有相当积极的预期。

对于全球范围内正在筹建下一批 E 级超算的国家和机构来说,这份 39 倍写入提升的实测数据无疑是一剂强心针。过去在高性能计算存储领域,人们习惯在 Lustre、GPFS 等并行文件系统上叠床架屋,用大量冗余服务器换取带宽。而如果 OpenZFS 的硬件卸载路径能够顺利走通,那么超算存储的能效比和硬件成本结构都可能被重新书写。更重要的是,整个交付链条依然在一个开源、标准化的 ZFS 生态中运行,这恰好符合公共科研机构对数据可移植性和可审查性的刚性要求。

当然,从实验室演示到大规模部署还要越过不少工程化门槛,例如多种 NVMe 主控的兼容性验证、集群级故障域划分以及与现有任务调度系统的整合。但至少从目前披露的 57 GB/s 读、47 GB/s 写的起点来看,迈凌和洛斯阿拉莫斯实验室已经锁定了一条高效率的路线。后续当 Panther 加速器与外置存储柜、超融合架构等形态进一步适配,一个完全硬件驱动的 ZFS 存储池将从极少数高端超算逐步下沉到更多企业级数据中心,而这次合作正是整个故事的起笔之处。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

拉莫斯 闪存 固态硬盘 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论