驱动之家 前天
9年前老卡依旧能打!大神魔改四路Tesla V100:AI推理领先M5 Ultra达230%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 10 月 13 日消息,发布于 2017 年的英伟达 Tesla V100 距今已有 9 年历史,但这颗基于 Volta 架构的数据中心老卡在 AI 推理领域依然具备可观的实力。

据知名硬件博主 Jun Yamog 测试,四张 Tesla V100 组成的 NVLink 集群在多项 AI 基准测试中,性能最高可领先苹果 M5 Ultra 和英伟达 DGX Spark 达 230%。

Tesla V100 发布于 2017 年,采用 Volta 架构,搭载 32GB HBM2 显存,显存带宽达 900GB/s。尽管发布已久,这套规格在应对当前主流的 AI 推理负载时依然够用。

具体改装细节方面,博主借助一块 NVLink 载板解决了四卡无法直接安装的问题,该载板提供总计 6 条 NVLink 2.0 链路,互连带宽可达 300GB/s。

散热方面,他将英伟达 A100 的散热器进行铣削加工以适配 V100,改造完成后单个散热器可轻松压制每颗芯片 300W 的功耗,四张显卡则通过 PCIe x8 转接卡与主机相连。

测试模型为 Qwen3.8-Flash-Next,采用 4-bit 量化。对比对象包括两台配备 128GB LPDDR5X 统一内存的 DGX Spark(GB10)、一台苹果 M5 Ultra。

结果显示,在长提示词的 Prompt Processing(提示词处理)测试中,四张 V100 取得 4098.3 tok/s 的成绩,比两台 DGX Spark 组成的集群快 40%,比 M5 Ultra 快 230%。

在短提示词测试中,V100 集群对 M5 Ultra 的领先幅度为 163%,对 DGX Spark 的差距与长提示词场景基本持平。

Token Generation(Token 生成)方面,短提示词场景下 V100 集群达到 100.6 tok/s,比两台 DGX Spark 快 121%,而 M5 Ultra 仅为 44.5 tok/s。

不过博主也指出,与苹果芯片之间的巨大差距很可能是缺乏软件优化所致,未必代表硬件层面的真实水平。

而且这套 V100 集群的体积庞大且功耗极高,对于普通玩家而言,硬件改装的门槛依然不低。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai tesla v100 spark 英伟达 芯片
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论