AI 时代堆 GPU，原来是这么个堆法？

马斯克旗下的 xAI 目前 GPU 资源利用率只有大概 11%。相关报告指出，其 AI 软件栈的优化效果不尽如人意。近日，《The Information》的报道引发了人们的关注。

目前，xAI 在其 Memphis 和 Colossus 数据中心集群中运营着约 55 万块英伟达 GPU，包括 H100 和 H200 两种型号，其中部分设备采用了液冷散热配置。尽管这些 GPU 属于上一代产品（早于最新的 Blackwell 系列），但其规模已经令人叹为观止。

拥有如此庞大的 GPU 存量，xAI 的模型算力利用率（MFU，Model FLOPs Utilization）却只有 11%。打个不恰当的比喻，在 xAI 服务器中已安装的这 50 万块 GPU 中，实际可用的算力仅相当于约 6 万块 GPU 的水平。究竟是什么原因导致了如此低的效率？

首先，对于较小规模的部署环境（例如 1000-10000 块 GPU）而言，多节点之间的协调计算通常不成问题。但随着服务器规模的不断扩大，当需要集成数十万颗 GPU 时，设备的空闲时间便会迅速累积，导致整体利用率急剧下滑。由此引发的软件栈内部的一系列不一致性问题，目前正在 xAI 的实际运行中暴露无遗。

在超级集群中，GPU 芯片本身的计算速度相对很快，瓶颈在于高带宽内存（HBM）的数据读写速度和成千上万台服务器之间网络传输的通信开销。只要数据传输出现微小的延迟或网络拥堵，整个集群的 GPU 就会被迫 " 原地挂机 " 等待数据加载。

另一方面，AI 模型的训练通常是间歇性的。GPU 在实际计算时满载运转，但在研究人员分析训练结果、调整参数或处理数据管道时，大量设备就会处于闲置（Idle）状态。

虽然 11% 是一个显然偏低的数字，但 The Information 的报道也揭示了 AI 领域的一些行业潜规则：算力浪费是普遍的现象，有些大厂的研究人员为了避免被管理层批评，或者害怕闲置的 GPU 配额被其他团队抢走，甚至会故意重复运行一些无意义的训练任务来 " 刷高 " 利用率数据。

该说不说，这么做也是为了保住团队自己的 GPU 配额。

当然，这并非 xAI 独有的难题，它实际上是整个 AI 行业普遍存在的一种结构性问题 —— AI 基础设施要在如此庞大的规模下实现高效运行，是一项极其艰巨的挑战。

运行 AI 云基础设施所需的优化技能涵盖数据、算法、模型、计算、内核、交互（人类 - AI - 世界、智能体之间），以及全局优化，在工程上难度极高。

一些科技巨头着重优化了大规模基础设施堆栈，已经能够实现超过 40% 的利用率。Meta 和谷歌便是此类典范，其 GPU 的利用率分别高达 43% 和 46%。

xAI 遇到的困境证明了在当前的 AI 军备竞赛中，" 买到 GPU" 只是第一步，用好才是关键。硬件规模已经超出了现有软件架构的调度能力。

不过，xAI 已在着手解决这一问题，并设定了利用率达到 50% 的目标。尽管目前尚无确切的时间表，但其核心改进将聚焦于基础设施与软件堆栈的优化。随着未来工作负载逐步迁移至那些专为驱动 " 智能体 AI"（Agentic AI）需求而设计的硬件平台之上，xAI 极有可能将其庞大的 GPU 集群对外提供租赁服务。

马斯克也在寻求转变，押注于自研算力的 "TeraFab" 项目：一方面，他正在推动多款自研芯片，将其纳入 xAI 的 "AI 芯片家族 " 之中；另一方面，马斯克也希望借助英特尔的 14A 制程技术，为未来的 xAI、SpaceX 及其它相关业务打造尖端解决方案。

xAI 的困境提醒了所有追赶者：AI 竞赛的下半场，拼的可能不再是谁能买到更多显卡。

参考内容：