7 月 13 日，半导体研究机构 SemiAnalysis 在社交平台发布推文，高度评价英伟达在 vLLM 推理引擎上的性能优化成果，同时明确指出 AMD 在部分模型的 vLLM 支持上仍有较大追赶空间。

华尔街见闻提及，该机构两周前指出，英伟达 "CUDA 护城河正遭缓慢侵蚀 "，公司最大的竞争压力是越来越多超大规模云厂商和 AI 模型公司开始采用自研 ASIC，针对训练或推理等特定场景构建专用芯片体系。

两则判断将 AI 芯片竞争的焦点从 " 谁的硬件更强 " 拉回到一个更根本的问题：在推理时代的规模化部署中，软件生态的深度可能比单代 GPU 的硬件领先更具决定性。

对于每天运行数十亿次推理调用的 AI 企业而言，" 部分模型支持良好 " 与 " 所有模型稳定优化 " 之间的鸿沟，在规模效应下会被急剧放大。

在硬件竞争日趋白热化、自研 ASIC 不断蚕食推理份额的背景下，英伟达在推理软件栈上的积累深度，正在成为比硬件参数更持久的竞争壁垒。

vLLM 的差距是生态闭环

vLLM 是当前大语言模型推理领域应用最广泛的开源引擎。

SemiAnalysis 选取 vLLM 作为评判基准，本身即传递了一个判断，开源推理生态正在成为衡量 AI 芯片真实性能的关键战场。

以 Kimi K2.5 这一千亿参数级混合专家（MoE）模型为例，差距尤为突出。

英伟达 GB200 NVL72 通过机架级 NVLink 将 72 张 GPU 高速互联，支持宽专家并行（Wide EP）达 8 至 16 的规模。

这一架构使每张 GPU 承载的专家权重大幅减少，HBM 带宽压力随之降低，All-to-All 通信也得以在高速 NVLink 域内完成，而非经由较慢的 InfiniBand 网络。

最终每 GPU 吞吐量可达 12,000 token/s 以上。相比之下，AMD MI355X 在同一测试中表现明显逊色，主要原因在于其难以实现同等规模的专家并行与机架级互联。

在软件层面，英伟达推出的 Dynamo 分布式推理框架将 vLLM 深度集成，专门针对 MoE 模型实现了预填充与解码分离（Disaggregated Serving）、高效 KV 缓存传输以及双批次重叠等优化。

这套框架在 NVL72 上能够充分发挥硬件潜力，而 AMD 方面目前仍主要依赖标准 vLLM 与 DISAGG 版本，针对超大 MoE 模型与宽并行场景的深度优化尚未跟上。

" 部分模型 " 措辞背后的全覆盖鸿沟

SemiAnalysis 将 AMD 的落后限定在 " 部分模型 " 上，这一措辞包含两层信息。

第一，AMD 并非全面落后。在通用计算场景中，其 MI 系列 GPU 已具备一定竞争力，Meta 近期签署的巨额采购订单也验证了这一点。

第二，" 部分 " 这一限定恰恰凸显了当前差距的实质，全面性软件生态覆盖的缺失。

在 AI 推理场景中，企业客户追求的是稳定、可预期的部署体验。维护两套软件栈以覆盖不同模型的成本，往往是决策时的决定性因素。

AMD 要完成从 " 部分领先 " 到 " 全面可用 " 的跨越，所需的软件工程投入可能比硬件迭代更为耗时。

这不仅是写更多驱动和适配层的问题，它意味着要在数以千计的模型架构、不断演进的开源框架、以及分散的开发者社区中建立广泛的兼容性和信任。

推理时代，软件才是真正的护城河

当 AI 产业重心从训练向推理迁移，软硬件的战略价值正在发生结构性重估。

训练任务集中、可控，硬件性能差距可凭资本投入弥补；推理则是分布式、持续性的，微秒级延迟差异在每天数十亿次调用中被成倍放大，直接转化为成本结构的分化。

英伟达的软件生态壁垒由三个层面叠加构成：

覆盖约 400 万开发者的 CUDA 工具链及其二十年积累；

对所有主流机器学习框架的优先适配；

以及 cuDNN、TensorRT、NCCL 等优化库形成的深度绑定。

三者叠加产生的迁移成本，远超任何单一硬件参数的差距。这一判断与 SemiAnalysis 两周前的分析形成呼应。

彼时，该机构指出 Anthropic 已形成由谷歌 TPU、亚马逊 Trainium 和英伟达 GPU 共同构成的多平台算力架构，大量 Claude 模型训练运行于 TPU，Claude Code 推理则越来越多部署于 Trainium，英伟达 GPU 的份额正遭自研 ASIC 缓慢侵蚀。

然而此次对 vLLM 性能的正面评价表明，英伟达在推理软件栈深度优化上的领先幅度，并未随硬件竞争格局的演变而同步收窄。

本文来自华尔街见闻，欢迎下载 APP 查看更多