IT之家 4小时前
英伟达Vera Rubin NVL72树立AI能效新标准
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 8 月 24 日消息,英伟达昨日使用 SemiAnalysis AgentX 工作负载,以 DeepSeek-v4-PRO 1.6T 模型评估测试,显示 Vera Rubin 每兆瓦吞吐量达到 Blackwell 的 30 倍。

每兆瓦吞吐量(Tokens per Megawatt,简称 tokens / MW)是衡量 AI 数据中心在固定电力额度下能产出多少 AI Token 的核心能效指标。

IT 之家援引博文介绍,SemiAnalysis AgentX 通过 4 项指标,重点评估智能体编程推理工作负载:

端到端归一化交互性按请求提交至最终 Token 到达的完整时间计算,反映包含首个 Token 等待时间在内的用户可见输出效率;

标准交互性只统计首个 Token 至最后一个 Token 之间的生成阶段。

端到端延迟统计单次请求从提交到最终输出 Token 到达的总时长

首个 Token 延迟(TTFT)则统计提交请求到首个输出 Token 到达的时间。

在 DeepSeek-v4-PRO 1.6T 工作负载中,采用 GB300 NVL72 的 Grace Blackwell 服务器,每兆瓦吞吐量达到 H200 NVL8 Hopper 方案的 15 倍。

Blackwell 每百万 Token 成本约为上一代的 1/10,运营方可以在相同电力和基础设施预算下支持更多智能体,或以更低运营成本维持相同智能体容量。

而 Vera Rubin 进一步提升该优势,在 DeepSeek V4 Pro 模型上,Vera Rubin NVL72 的每兆瓦吞吐量约为 GB300 NVL72 的 30 倍。

Vera Rubin NVL72 的每百万 Token 成本是 GB300 NVL72 的 35 分之一,能够持续、大规模地运行智能体,满足客户各种工作负载的需求。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 吞吐量 英伟达 it之家 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论