零镜网 03-21
为什么AI性能测试,5090和5090D没有区别?
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

众所周知,由于美国对华 AI 芯片出口限制,英伟达不得不针对大陆地区推出带有 D 后缀的消费级 GPU,比如 RTX 4090 D 和 RTX 5090 D。通常带 D 后缀的芯片在性能上都会有一些限制,例如 RTX 4090 D 相比海外版的 RTX 4090,在芯片规模上缩水了 11%,游戏和 AI 性能都有明显的差距,因此玩家们习惯把 D 后缀的型号称为 " 阉割版 ",而没有 D 后缀的型号为 " 满血版 "。

然而奇怪的是,英伟达最新的旗舰级型号 RTX 5090 D,却在硬件规格上和海外版的 RTX 5090 一模一样,唯一区别是 AI 算力少了 30%。更奇怪的是,在多项 AI 性能测试中,RTX 5090 D 和 RTX 5090 的 AI 性能竟然没有区别。

这是知名科技博主 " 极客湾 " 做的测试,他们用 Ollama 部署了一个 23B 参数的通义千问 2.5 模型进行推理测试,结果 5090 D 跑出了和 5090 几乎完全相同的成绩。比上一代旗舰 RTX 4090 快了近 50%。

如果说 Ollama 更吃显存带宽不吃核心算力,那么 UL Procyon AI 绘画测试又是怎么回事呢?5090 D 竟然还反超了 5090,简直倒反天罡!这里不得不说一下,RTX 4090 由于不支持 FP4,因此在 FP4 量化的模型测试中,落后 RTX 5090 D 四倍还多。

同样,知乎大 V 林大大在 Linux 下做的测试显示,RTX 5090D 显卡 FP16 的能力相当突出,对比 RTX 4090 最高有 77% 的增幅,最低也有 34% 增幅。

那有人要说了,AI 推理和 AI 训练是两个东西啊,不能简单地用一个词 "AI 性能 " 笼统地概括。AI 推理是在原有的模型上,给定输入然后计算输出的过程,这个过程其实不怎么消耗算力。尤其是现代 AI 模型(如 LLM、AIGC 生成模型)通常会对推理进行优化(如量化、剪枝等),以减少计算量。

而 AI 训练,是通过对大量给定数据的计算,提取特征,得出普遍规律的过程。这个过程非常消耗算力,AI 算力的高低直接影响训练速度和模型收敛的效率。因此,RTX 5090 D 可能锁的是 AI 训练的性能,而非推理性能。

这个说法的确有一定道理。可是,在很多 AI 训练(微调)测试中,依旧还是测不出 5090 D 那 " 本该消失 " 的 30% 性能。也许,可能,5090 D 只有在特别消耗核心算力的部分模型训练中才能看得出两者的区别。

那么可能的结论是什么呢?显存容量和带宽限制!

现代 AI 模型,尤其是大语言模型或高分辨率图像生成模型,首先对显存容量的需求非常高。显存容量不足会导致模型无法加载,或者需要与内存频繁数据交换,从而拖累整体的 AI 性能。英伟达虽然对 RTX 5090 D 的 AI 算力进行了限制(减少 30%),但是显存容量和显存带宽却未作限制。

RTX 5090 D 搭载的 32GB 512bit GDDR7 显存能够提供 1792GB/s 的带宽,这一点与海外版 5090 完全一致(美国只限制了 GPU 算力,没有限制显存带宽)。因此在应对现代 AI 模型,无论是推理还是训练,GPU 根本就没有跑满情况下,显存上的优势就发挥了出来,领先上代 RTX 4090 近 50% 合情合理(4090 为 24GB 384bit GDDR6X 显存,带宽 1008GB/s)。尤其是在推理任务中,模型需要快速访问权重和输入数据,显存的高带宽可以显著提升推理效率。这也是 RTX 5090 D 与 RTX 5090 拉不开差距的重要原因。

然而,大多数 AI 应用场景,例如文案撰写、代码生成、机器翻译、机器人客服、数学推理、金融分析等,90% 以上应用都是基于 AI 推理,即便有少量的训练也不过是模型微调而已。所以对于大多数希望通过购买消费级显卡来节省预算的 AI 用户来说,买 RTX 5090 D 和 RTX 5090 其实性能没有任何区别,5090 D 反而有质保方面的优势,是非常高性价比的选择。而真正需要进行 AI 训练的用户,还是推荐 A100、H100 这类的芯片,毕竟高复杂度的、企业级的应用效率才是第一位的。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 英伟达 美国 知乎 linux
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论