驱动之家 12-14
AI已成一切的核心 NVIDAI表态:我们没放弃64位计算
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 12 月 14 日消息,这两年 AI 爆发,它不仅影响了 AI 产业,实际上还在改变了芯片发展的方向,但是这个方向对 HPC、科学计算来说可不一定是好事。

这是因为 NVIDIA 近年来已经把 AI 性能作为一切的核心,计算精度实际上是不断降低的,以前大家比较 GPU 性能可能还会计算有 FP64、FP32 这两个核心指标,如今 AI 时代,FP16、FP8 及 FP4 才是重点。

我们之前提到过,NVIDIA 新一代显卡会转向 FP4 标准,从 Blackwell 开始虽然也支持 FP4、MXFP4 这两种标准,但重点推的是 NVFP4,它跟 E2M1 FP4 结构差不多,但精度几乎没有多少损失。

GB300 在支持 FP4 后性能提升了 50%,精度比 FP8 几乎没有损失,内存占用大幅减少 2-3 倍,能效则是 50 倍提升。

但是在 FP64 上面,这几年的显卡,尤其是顶级产品不仅没提升,还在倒退,HPCWire 做了这几代显卡的对比,如下所示:

A100 时代 FP64 性能还有 9.7TFLOPS,H100 及 H200 是 34TFLOPS,B100、B200 是 30TFLOPS,B300 则是大幅降低到了 1.2TFLOPS。

这已经引起了学术圈的抱怨,SC25 大会期间,TOP500 的发起人、田纳西大学教授 Jack Dongarra 就表示 NVIDIA 在从 Hopper 架构转向 Blackwell 时没有实质性提升 FP64 性能。

AI 性能虽然重要,但在科学计算上,比如材料科学、气候建模、流体力学模拟等研究中,FP64 性能是无可替代的。

对于这些质疑,NVIDIA 负责 HPC、AI 超大规模基础设施解决方案的高级总监 Dion Harris 强调他们并没有放弃 64 位计算,它依然是核心。

他提到 10 月份推出的 cuBLAS,这是一个 CUDA-X 数学库,可以在矢量核心上模拟 FP64 计算,使用这个库可以让 FP64 性能提升 1.8 倍。

至于专业人士期待的 FP64 性能提升,Dion Harris 提到 NVIDIA 未来的 GPU 会在核心底层上提升 FP64 计算,但具体信息暂时不能说。

明年 3 月份会有 GTC 大会上,NVIDIA 应该会公布下一代 GPU 架构了,或许会在这方面有所变化。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

nvidia ai gpu 基础设施 芯片
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论