公众号记得加星标⭐️，第一时间看推送不会错过。

一夜之间，网络成为了 AI 时代的新宠，几乎所有参与数据中心的企业，近几个月来都在谈论网络。GPU 依旧火热，但 AI 网络似乎受到了更多关注，从硅谷巨头到初创新企，大家乐此不疲地讲着 AI 网络的多元应用与广阔前景。

这一现象的背后，是 "AI 工厂 " 与 "AI 云 " 的崛起，其中，AI 工厂是指专门处理大量数据并生成智能的超级计算机或数据中心。它将 "AI 开发 " 流程比作工业制造工厂：如同工厂将原材料转化为产品，AI 工厂则将原始数据转化为 " 智能 " 或 " 解决方案 "；而 AI 云则是在公有云或私有云平台上提供弹性、可扩展的 AI 服务，用户无需自建基础设施即可调用模型和算力，强调灵活性与普适性。

从传统数据中心转型而来的它们，不再只是处理和存储数据，而是将海量原始数据转化为实时洞察与价值，肩负着 " 制造智能 " 的重要任务。

显然，过往老旧的底层网络架构已难以支撑这样的需求。

也正因如此，AI 巨头英伟达的网络优势开始全面显现，除了广为人知的 InfiniBand 技术外，其专为 AI 打造的以太网架构 Spectrum-X 正备受瞩目。

IDC 报告显示，在 Spectrum-X 以太网网络平台的强劲推动下，英伟达数据中心以太网交换机收入从 2024 年第四季度到 2025 年第一季度实现了 183.7% 的惊人增长，在整个以太网交换机市场中占据 12.5% 的份额，在数据中心细分领域更是达到 21.1% 的市场占有率。

依靠着发布仅两年多的 Spectrum-X 以太网网络平台，英伟达不仅成功跻身全球数据中心以太网市场前三甲，更在快速崛起的 AI 以太网市场中抢占先机，确立了无可争议的领导地位。

尽管外界依然习惯将英伟达定义为 GPU 巨头，但在聚光灯照不到的地方，这家公司正以惊人的速度重塑着 AI 时代的数据中心网络版图。

4 万亿的真正底气

对于英伟达而言，它在 AI 网络上的布局远早于其他巨头。

2020 年 9 月 30 日，为了庆祝以太网规范诞生 40 周年，英伟达创始人兼 CEO 黄仁勋专程采访了以太网的发明者鲍勃 · 梅特卡夫。

访谈中，两人探讨了一个耐人寻味的问题：英伟达的核心竞争力，在于 GPU 本身，还是 GPU 之间的互连技术？

这一问题的背景，是英伟达 2020 年 4 月方才完成的一桩收购，其以 69 亿美元的报价收购芯片设计公司 Mellanox，这家企业不仅开发了一系列基于 InfiniBand 标准的计算网络产品，还推出了基于开放以太网标准的 Spectrum 交换机。

而不论是 InfiniBand，还是 Spectrum 以太网，都属于服务器之间互连的一种技术方向，InfiniBand 技术专注于极致的高性能和即插即用，Spectrum 以太网则是高性能与传统云应用场景的完美融合，英伟达将 Mellanox 纳入囊中，就意味着其自此拥有了 GPU 服务器直接互连的两张王牌，兼顾了性能、扩展性和服务性的市场迫切需求。

面对这一问题，梅特卡夫笃定地指出，英伟达真正的底气，就是 GPU 互连。

五年后的今天，英伟达市值飙升至 4 万亿美元，跻身全球最具价值的企业前列。支撑这一惊人成就的背后，除了目前炙手可热的 Blackwell 芯片外，还有它早已独步于天下的 GPU 服务器互连技术——即 AI 网络。

这时候新的疑问诞生了，AI 网络市场的竞争者这么多，为什么唯独英伟达能够赢得众多巨头的 " 欢心 " 呢？

让我们先从 InfiniBand 说起。

作为一种功能强大的网络架构，InfiniBand 被专门设计用于支持高性能计算和 AI 数据中心基础设施的 I/O 连接，它的独特之处在于既可作为 " 盒内 " 背板解决方案（PCB 上的组件互连），也可通过铜缆或光纤实现 " 盒外 " 设备互连，统一了传统总线与网络互连的功能。

除此之外，InfiniBand 的高带宽、低延迟、低功耗以及可扩展性等特性，让它与 AI 数据中心形成了天作之合，例如最新的 InfiniBand XDR 网络带宽可达 800Gb/s，其发展速度远超 PCIe 的发展速度，目前的 x86 服务器都还未支持 PCIe6.0 来满足其对于带宽的需求，需要通过 Multi Host 或者 Socket Direct 等技术来达到 XDR 网络对于 800Gb/s 上行带宽的需求；业界第一种支持 RDMA（远程直接内存访问）技术的网络，在大约 20 年前就实现了无需 CPU 干预就能实现网络的线速数据传输；也是业界最先实现了网络计算的网络，可以将 HPC 和 AI 工作负载中复杂的集合通信计算卸载到网络交换机上，有效提升了通信性能和降低了网络拥塞。

形象一点来说，InfiniBand 就像是一条特殊设计的专用公路，速度很高，同时可以有效避免拥堵，它的独特架构可以在实现高带宽的同时大幅降低延迟，对比传统网络架构有着非常大的优势，其非常适合那些训练各类大语言模型（LLM）的 AI 工厂。

而英伟达在 2023 年推出的 Spectrum-X 网络平台，则是专门面向 AI 应用场景，对传统以太网的进一步的优化和升级，是一种从网卡到交换机协同设计的端到端 AI 网络技术。

首先是传统以太网被诟病最多的延迟问题，Spectrum-X 最大限度通过端到端的优化设计显著降低了 AI 业务的通信时延，通过源于 InfiniBand 网络的 RDMA 技术，实现了 GPU 显存和 GPU 显存之间的直接通信，大幅降低通信延迟并为用户的通信优化提供了更多的方向；而在网络拥塞与丢包问题上，Spectrum-X 则加入了在 InfiniBand 网络上已经成熟应用的动态路由技术（Adaptive Routing），根据网络负载情况，实时调整数据传输路径，最大化网络带宽的利用率。

同时，Spectrum-X 也具备了 InfiniBand 网络的性能隔离技术（Performance Isolation），该技术确保在多租户的多任务环境中，不同租户的应用之间的网络流量互不干扰，即使一个业务出现了突发流量，也不会影响到其它业务，确保各个任务都能在最优环境中运行，实现 Bare Metal 的性能。

与 InfiniBand 不同的是，Spectrum-X 面向的是 AI 云市场，它也兼顾了以太网的灵活性和安全性，让传统的以太网用户可以在不改变使用习惯的情况下，实现快速向 AI 数据中心网络的迁移。数据中心走向 AI 数据中心（AI 工厂和 AI 云）已经是大势所趋，AI 模型正在逐渐取代传统的应用模式，Spectrum-X 的出现，实现了传统云基础设施走向 AI 的平滑升级扩展，满足了更多云服务提供商对大规模生成式 AI 等应用需求。

事实上，目前在 AI 训练方面，英伟达网络已稳居主导地位：微软 Azure、OpenAI 和 Meta 等 AI 巨头早已采用 InfiniBand 来训练自己的大语言模型，而 Spectrum-X 也在过去的一年迅速争取到了大量新老客户，实现了在网络发展史上罕见的爆发性增长，成为了数据中心网络的王者。至此，NVIDIA 通过 NVLink 网络为 AI 业务在纵向扩展（Scale Up）上提供了坚实的基础，通过 Spectrum-X 网络和 InfiniBand 网络提供了在横向扩展（Scale Out）的无限可能，通过与业界领先的各种 GPU 技术的结合，最终实现了 AI 业务在计算和通信上的闭环，为 AI 数据中心走向高性能和无限可扩展铺平了道路。

但 AI 发展显然不会拘泥于训练这一个领域，能够撑起英伟达 4 万亿市值的核心，始终是其对 AI 发展趋势的前瞻洞察与先发制人的战略眼光。

从训练，迈向推理

在今年 3 月举办的 GTC 大会上，英伟达释放出了一个重要的行业信号：随着 AI 产业在大规模模型训练方面的需求增长逐渐趋缓，加之 DeepSeek 等公司在推理技术上的突破性创新，整个 AI 行业正迎来从训练时代向推理时代的关键转折点。

这一转变背后，瞄准的是一个规模远超训练市场的全新蓝海——推理市场。如果说训练阶段是 AI 能力的 " 铸造 " 过程，那么推理阶段则是这些能力的 " 实战 "，其市场潜力和商业价值将呈现指数级增长。

但新的问题接踵而至。

一方面，随着推理模型复杂度提升，原本只需在单 GPU 或者单节点处理的任务，开始向多 GPU 和多节点并行转移。推理已不再是传统意义上的 " 一问一答 "，而是进入 "Test-time Scaling" 阶段——在每次请求中模拟多条解答路径，并选出最优解。这种推理逻辑本质上是一种实时的深度推演，需要在毫秒级完成大量 token 处理与上下文回溯。这也意味着推理系统对延迟、带宽、同步机制的要求大幅上升。

另一方面，当前推理任务日益体现出 "P-D 分离 " 的趋势，即将 Prefiling 与 Decoding 任务部署在不同硬件节点，以实现资源最优化利用，避免 Prefiling 与 Decoding 阶段出现计算和通信资源的冲突。但这也使得在 Prefiling 与 Decoding 之间的数据交换成为瓶颈。

除此之外，大模型推理（特别是基于 MoE 的推理大模型）还高度依赖 KVCache（键值缓存），其存储规模往往随着输入 token 数量的增加而快速增加，这就导致了 KVCache 可能被存放于 GPU 显存，或者 CPU 内存，或者 GPU 服务器本地 SSD，或者远端的共享存储。由于 KVCache 需要在多 GPU 间频繁共享与更新，这对网络提出 " 双向压力 "：东西向需实现 GPU 间通过 RDMA 的方式高速共享 KV，南北向则要求 GPU 与存储、CPU 间能低延迟调度和高性能传输数据。

英伟达针对这部分推理中所遇到的现实难题提供了高效的解决方案：

在分布式推理上，英伟达目前已有的 InfiniBand 与 Spectrum-X 以太网架构，构建了具备 RDMA、智能拥塞控制和 QoS 能力的网络层，为其提供所需的 " 高速公路 "。

而在 PD 分离的通信瓶颈上，英伟达通过 NVLink/NVSwitch 构建了高速互连通道，并借助 Grace CPU 实现 CPU 与 GPU 之间的深度耦合，在统一的共享内存域下，极大减少主存数据搬运与延迟，大幅提升推理效率。

最后是 KVCache 存储结构所面临的双向挑战，英伟达引入了 BlueField SuperNIC（Super Network Interface Card）与 BlueField DPU（Data Processing Unit）的双引擎协同架构。前者作为一种专为 AI 负载设计的高性能智能网卡，在 KVCache 场景中可加速 GPU 节点间的 KV 共享操作，确保跨节点 token 处理时延最低、带宽最大化；而后者则是在 CPU 与 GPU 之间建立了一条智能的 " 数据高速公路 "，将传统由 CPU 承担的 KVCache 搬运、调度、访问控制等任务转移到 DPU 上执行，有效降低延迟、释放 CPU 资源，并提升整体 IO 吞吐效率。

以上几大问题是推理所遇到的网络问题，而在大型推理集群中，还有着不同的难点。

很多人原本认为推理是单节点即可完成的轻量任务，但现实完全相反，越来越多企业将训练集群直接转用于推理，尤其在 Agentic Reasoning（自主智能体推理）场景中，每个 Agent 都需要独立数据库与长上下文处理能力，算力与网络资源消耗更胜训练。

为应对这一趋势，英伟达推出了 AI Fabric 网络架构，通过 NIXL（NVIDIA Inference Xfer Library）和 Dynamo 推理框架的配合，可支持动态路径选择与 GPU 级别资源调度，使得推理系统在大规模部署下依然具备灵活性与实时性，解决了大型推理集群的资源编排瓶颈。

互连设备的功耗与稳定性则是另一个企业头疼的大难题，随着推理所需 GPU 的数量迅速增长，网络互连成为整个系统能耗的关键组成，传统的电连接（如铜缆）受限于连接距离的影响，已经成为了扩展瓶颈，光互连成为了 AI 数据中心的主流。

为此，英伟达推出了 CPO（Co-Packaged Optics，光电一体化封装）技术，将光模块集成入交换芯片封装中，有效降低功耗并提升可靠性。据了解，与传统光模块相比，CPO 可带来 30%-50% 的网络能耗节省，相当于在超大规模数据中心中释放出数十兆瓦电力用于 GPU 计算。

值得一提的是，CPO 还带来了运维层面的好处——光模块数量减少、手工插拔模块时引发的故障率降低、激光器减少四倍，这都在提升整体系统韧性的同时，支持更高密度部署。

可以看到，英伟达网络正以训练时代的技术积淀，为推理时代构筑全新底座：从 BlueField SuperNIC、BlueField DPU，到 Spectrum-X, AI Fabric、CPO 光电一体化网络交换机，再到全栈优化的软件生态，其推理基础设施版图已经成型。

掌握网络，就是掌握未来

2020 年 9 月那场与梅特卡夫的交流中，黄仁勋还说了这样一句话，客户不关心你采用什么技术，更关心如何解决他们的问题。

在他的眼里，英伟达的真正突破，不仅在于 GPU 的性能优势，而在于它早早把 GPU 重新定义为一种平台级组件——就像 DRAM、CPU 一样，可被嵌入到解决方案中，面向具体问题构建完整系统，数据中心成为了计算机，而网络决定了数据中心的性能、扩展性和效率。这种系统思维，是英伟达从图形处理走向 AI 数据中心供应商的核心底层动力。

在最初，没有人相信 GPU 有如此广阔的未来。" 专注于 CPU 无法解决的问题？那市场要么根本不存在，因为没有解决方案，要么市场非常小，而且是一个超级计算机的市场，都不可能成功。" 黄仁勋回忆当年质疑者时曾这样说。但英伟达的洞察更深一层：真正的市场往往诞生于需求尚未成型时。

这一逻辑，正复制在今天的 AI 网络平台之上。就像当年的 3D 游戏离不开以太网，今天的推理模型、Agent 智能体、生成式 AI 也同样离不开高速、稳定、智能化的网络——遵循的，依旧是梅特卡夫定律：连接越多，平台价值越大。

未来，随着大型推理集群的加速部署，AI 平台的 " 终局战场 " 不再是某一颗芯片的性能之争，而是整个系统、生态、网络的协同效率之争。在这个新的战场上，英伟达不仅已经上场——它正在引领方向。

（封面图来源于 Freepic）

* 免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。