在 AI 芯片快速迭代的今天，上一代 GPU 并没有像传统硬件一样迅速贬值。

" 我们 2023 年部署的那批 H100 芯片，如今出租价格甚至高于最初上线时。" 近日，云服务商 Lambda 联合创始人兼 CTO Stephen Balaban 在播客节目 The MAD Podcast 中表示。

这并不是某代芯片的 " 传奇故事 "。过去，人们曾期待 GPU 算力最终会像传统云计算资源一样，随着供应增加和硬件迭代逐渐标准化、商品化：性能越来越高，价格越来越低，不同供应商之间的差异也越来越小。

但 AI 算力并没有完全沿着这条路径发展。一张 GPU 能够提供多少价值，越来越取决于它被放进怎样的系统、如何与其他 GPU 协同，以及这些昂贵设备能否持续被利用。芯片性能仍然重要，但它已经很难单独解释一套 AI 基础设施能够交付多少算力。

那么，为什么 GPU 供应越来越多、产品迭代越来越快，算力却还没有像电力或带宽一样成为真正标准化的商品？

01

算力不是加法题，超节点难在协同

前沿大模型正在改变的，并不是算力如何计价，而是算力在什么层级上被商品化。在最上层，AI 服务正在把模型输出逐渐标准化为 Token，并按 Token 计费。

从这个意义上看，客户最终购买的计算结果，已经具备越来越明显的商品属性。但在这些 Token 背后，生产它们的算力系统却远没有实现同样程度的标准化。

原因之一是，前沿 AI 任务已经很难由一张 GPU 独立完成。模型参数、计算任务和数据需要被拆分到多张 GPU 甚至多台服务器上，一次训练或推理能否顺利向前，不再只取决于单张芯片算得有多快，还取决于这些 GPU 之间能否快速交换数据。

这让 AI 算力出现了一个和传统标准化计算资源不同的问题：同样数量、同样型号的 GPU，并不一定能够交付同样的计算能力。

如果 GPU 之间通信效率不足，芯片就可能花更多时间等待数据；网络拓扑、内存、存储以及软件组织方式的差异，也都会影响最终能够发挥出的算力。新增一张 GPU，因此并不意味着系统就能获得一张 GPU 标称性能对应的新增产出。

也正是在这种背景下，超节点开始成为 AI Infra 的重要形态。所谓超节点，并不是简单增加 GPU 数量，而是通过高速互联，把多颗 GPU 组织成一个紧密协同的计算单元，尽量降低 GPU 之间交换数据的成本，让它们像一台更大的机器一样工作。

Balaban 以英伟达 GB300 NVL72 为例，一个机架内的 72 颗 GPU 通过 NVLink 高速互联；多个机架进一步扩展时，则通过 InfiniBand 或高速以太网连接。Lambda 建设的大型 GPU 集群还会采用尽量减少网络阻塞的架构，让不同 GPU 之间获得足够的通信带宽。

这种系统能力首先服务于大规模训练，但前沿推理也越来越依赖多 GPU 协同。Balaban 提到，小型、经过压缩的模型可以放进单张 GPU；更大的模型则可能需要跨多颗 GPU、服务器甚至机架运行。

因此，GPU 型号和数量仍然决定了一套系统拥有多少计算资源，却越来越难单独代表这些资源最终能够交付多少算力。

这也是 AI 算力系统难以迅速变成标准商品的关键：芯片本身可以标准化，但芯片如何被组织起来，以及最终能够发挥多少性能，仍然高度依赖整套系统。

02

GPU 的三套时钟：换代、折旧与经济寿命

如果 AI 算力系统不是一种标准商品，那么 " 一张 GPU 值多少钱 "，也很难只由芯片型号决定。

Balaban 称，在一个 GPU 小时的成本中，占比最大的是设备折旧。GPU、服务器和网络设备采购后会使用多年，最初的投入需要被分摊到后续每一个实际使用小时中。

这背后是一门典型的重资产生意。按照 Balaban 的估算，一座千兆瓦级 AI 工厂中，发电设施需要约 20 亿至 30 亿美元，数据中心本体约 100 亿至 150 亿美元，而服务器和计算设备的投入可达 350 亿至 450 亿美元，其中 GPU 又占据最大的一部分。

因此，判断一张 GPU 的价值，不能只看它是不是最新一代，更要看它在整个使用周期里还能持续承担多少计算任务、产生多少收入。

这也是 Balaban 判断旧一代 GPU 仍有较长经济寿命的原因：只要设备仍然能够承担计算任务，并且有持续需求，它就不会因为新一代芯片上市而立刻失去经济价值。

Balaban 还提到，不少公司采用约六年的会计折旧周期，但账面折旧年限不等于设备实际能使用多久，更不等于它还能产生收入多久。只要 H100 仍能承担计算任务，又有人愿意租用，它的经济寿命就可能比市场早期预想得更长。

换句话说，GPU 存在至少三套不同的 " 时间尺度 " 计量系统：产品迭代决定它是不是最新一代，会计折旧决定账面成本如何分摊，而经济寿命决定它究竟还能产生多久的收入。

这也是 AI 算力系统没有迅速商品化的另一个原因。客户真正需要的，不只是 GPU，还包括高速网络、存储、CPU 服务器，以及把这些设备组织成集群的软件。训练和推理任务能否运行，取决于整套系统是否能够共同交付计算能力。

这种系统复杂性，也解释了为什么 Neocloud（AI 算力云）不能被简单理解为 GPU 出租商。Balaban 认为，GPU 算力并不是一种简单的标准商品，它背后是一项纵向整合的服务，范围从土地、电力许可、数据中心建设，一直延伸到高性能计算设计、虚拟化和云软件。

当算力变成这样一门重资产、强运营的生意，决定成本的下一个问题也随之出现：这些昂贵设备，到底有多少时间真正处于工作状态？

03

GPU 利用率正在拉开 Token 成本差距

一张 GPU 能工作多久，决定了它还能创造多少价值；而一整套 GPU 系统能以多高效率工作，则决定了算力最终有多贵。

对客户而言，Token 可以按统一单位计价；但在数据中心内部，每一个 Token 背后的生产成本却千差万别。

Balaban 给出了一条从能源到 Token 的链条：最开头是阳光、天然气等能源，它们经过发电设施转化为电力；电力进入数据中心后，一部分用于驱动服务器运行，一部分消耗在制冷、配电等基础设施中；GPU、网络和存储再共同完成计算，最终由模型生成 Token 并交付给用户。

沿着这条链路，同样一座数据中心、同样数量的 GPU，并不意味着同样的 Token 产出。电力利用效率、GPU 之间的通信效率、模型和软件优化，都会影响能源和设备最终能够转化成多少计算结果。

而在 Balaban 看来，其中一个极其现实的变量就是利用率。

GPU、服务器和网络设备不会因为没有任务就停止折旧。如果一张 GPU 只有一半时间真正用于计算，那么它的设备成本就只能由更少的实际使用小时来承担。Balaban 举例称，在 50% 的利用率下，每个实际 GPU 小时需要承担的折旧成本相当于翻倍。

因此，AI 基础设施面临的问题并不只是 " 有没有 GPU"，而是昂贵的 GPU 能不能尽可能少地闲置。

但到了大型集群，这已经不是找到一张空闲 GPU 那么简单。Balaban 介绍，一个万卡级 GPU 集群除了 GPU 本身，还包括负责组织任务的 CPU 服务器、存储系统，以及承担不同功能的多套网络。

当客户申请其中一部分算力时，供应商实际上需要同时为这项任务划分计算、存储和网络资源，并保证这些资源能够共同工作。

这也是调度和集群软件的价值。它们决定一批昂贵的物理设备能否被拆分、组合，再持续交付给不同客户。如果没有这层软件能力，一座拥有大量 GPU 的数据中心，也很难真正把这些设备变成可以按需使用的算力。

当 AI   Infra 进入超节点和大型集群时代，买下 GPU 只是投入的开始。真正决定算力成本的，是这些昂贵设备能否长期保持运转，并在网络、存储和软件的配合下持续完成训练和推理任务。

GPU 仍然是最昂贵的设备，但决定算力价值的，已经不再只是 GPU 本身。

雷峰网雷峰网

▼