快科技 11 月 28 日消息，在 AI 大模型训练 / 推理上，NVIDIA 的显卡无疑是目前使用最多的，AMD、Intel 及谷歌等公司份额没法比，问题来了，NVIDIA 到底强在哪里？

这里不用提什么 CUDA 生态优势，也不用说 AI 算子等参数，Artificial Analysis 直接对比了当前的三大推理方案的实际表现，分别使用谷歌 TPU v6e、AMD MI300X 及 NVIDIA H100/B200 来对比。

测试的内容比较多，不过我们只看一个综合性的就够了，在 30Token/s 速度下每百万输入输出的成本，跑的模型是 Llama 3.3 70B。

在这方面，H100 的成本是 1.06 美元，H200 也只有 1.17 美元，B200 TensorRT 是 1.23 美元，B200 是 1.45 美元，AMD 的 MI300X 是 2.24 美元，而谷歌的 TPU v6e 是 5.13 美元。

对比下来，N 卡相对 AMD 是至少 2 倍的性价比优势，对比谷歌则是 5 倍左右的优势，差距非常明显。

哪怕是用 NVIDIA 最新最贵的 B200 显卡，成本提升也不算太明显，毕竟性能是大增的，比 AMD 及谷歌的依然有很大优势。

现在可以说，AMD 及谷歌当前的 AI 卡还是差不少的，但两家下一代产品提升很猛，AMD 的 MI400X 系列最多 432GB HBM4 显存，谷歌的 TPU v7 据说也是几倍的性能提升，届时可能改写这个评测结果。

当然，NVIDIA 也不会坐以待毙，下一代的 Rubin 显卡也发布了，明年也会陆续上市，有望进一步扩大差距。