导语：AI 的真实性能不再由单一加速器定义，而取决于计算、内存、存储、网络、供电与散热协同

摘要

这是 SK 海力士《AI 基础设施洞察》系列的收官篇。核心判断是：AI 的真实性能不再由单一加速器定义，而取决于计算、内存、存储、网络、供电与散热协同；设计边界因此从单台服务器向外扩张——机柜级系统把整个机柜当作一台完整超算单元统一规划，再进一步扩到跨机柜布局、建筑物理结构、配电与热管理的一体化设计。报告认为负载正在分化：大规模训练追吞吐与内存带宽，通用推理更看时延、成本与能效，而正在落地的智能体负载进一步放大数据移动瓶颈。存储厂商的差异化不再只来自产品性能，而来自多早介入客户下一代系统规划、多深参与设计过程（co-design）。文章最后把协作从 co-design 推向共享设计标准，并指出 AI 内存企业角色随之改变。

正文（译文）

AI 已不再由单个模型或 AI 处理器定义。要让 AI 在真实服务与工业应用中有效运转，需要更快的计算、更宽的内存带宽、更高性能的网络、更高效的存储，以及更稳定的供电与散热无缝协同。这就是为什么 AI 的竞争正从单项技术，转向整个基础设施的设计与运营。

在《AI 基础设施洞察》系列中，我们探讨 AI 基础设施背后的架构如何演进——从计算、内存、存储、网络、供电与散热，到它们作为统一系统如何汇合，以及这对行业意味着什么。

本系列前三篇指向 AI 基础设施设计的新方向：竞争不再仅由单个组件性能塑造，更取决于计算、内存、存储、网络、供电与散热被整合得多有效。第一篇讨论的数据中心架构、第二篇的数据移动瓶颈、第三篇的供电与散热挑战，都指向同一个设计难题。

那么下一代 AI 基础设施应如何设计、在何种规模上设计？在终篇里，我们审视基础设施设计的范畴如何从单台服务器扩展到机柜、再到整个数据中心，并审视 co-design（协同设计）——一种从初始设计阶段就统筹计算、内存、存储、网络、供电与散热的方法——如何塑造 AI 基础设施设计与行业协作，同时改变 AI 内存企业的角色。

co-design 指：从开发早期阶段就统筹不同技术与系统的需求，以优化整体系统。

从服务器到机柜：AI 基础设施设计范畴的扩张 AI 基础设施设计的基本单元正从单台服务器扩展到机柜。原因在于大规模 AI 训练与推理负载难以靠单一加速器或服务器承载；当大量加速器必须紧密互联以共享负载时，整体性能不仅取决于单个加速器，也取决于系统内的均衡，包括加速器间互联、内存、网络、供电与散热。

于是设计重心从单台服务器，转向把机柜内资源整合为统一架构。多台服务器与加速器密集装入每个机柜，内存配置、网络、供电与散热需求围绕同一系统设计。代表性做法即机柜级系统（rack-scale system），把整个机柜当作一台计算系统。

机柜级系统：在机柜级别把 CPU、GPU、内存、网络、供电与散热集成为统一设计的 AI 计算系统。

在机柜级系统中，多个加速器与处理器经高速互联连接，内存、网络、供电与散热在机柜层统一设计。机柜由此从 " 简单容纳多台服务器 " 的空间，演化为整合数据移动、供电与热管理的系统单元。

从机柜到整个数据中心：设计范畴继续扩张 AI 基础设施设计不止于机柜层。大规模高密度 AI 系统的搭建，需要统筹考虑机柜摆放、网络、供电、散热乃至数据中心本身的物理结构。随着 AI 集群变大，机柜间通信效率对系统性能影响越来越大；机柜摆放、连接距离、网络架构会影响数据传输时延与通信效率。散热基础设施也要结合机柜摆放与设施设计来消化高密度机柜产生的热量；供电分配架构同样要保障全设施可靠供电。

释放大规模 AI 基础设施的性能潜力，需要统筹设计机柜摆放与连接、供电、散热与建筑架构。

随着 AI 负载分化，基础设施设计随之改变随着设计范畴扩张，所处理的负载类型也成为重要设计考量。不应给所有负载套用同一架构，而应按每项任务的性能需求与数据处理特征配置资源。

大规模模型训练需要大量加速器长时间并行计算，看重高吞吐、内存带宽与快速加速器间互联。推理则看重低时延、快速数据访问、吞吐，以及功耗与成本效率。即便在同一套 AI 基础设施内，计算与内存如何配置、网络与存储如何连接、供电散热需求，都会随所承载负载而变。

尤其是智能体（agentic AI）类负载又多一层复杂度：单次请求可能涉及多轮推理，以及反复访问外部工具与数据。在这种环境里，数据在内存、存储、网络间的移动会成为真实处理性能的关键因素。

即使是最先进的加速器，若没有顺畅的数据移动、足够的内存带宽与稳定的供电散热，也无法发挥预期性能。AI 基础设施设计始于一个根本问题：这套系统究竟要处理什么负载？

智能体 AI：基于用户定义目标规划任务、借助外部工具、数据等资源执行多步的 AI 系统或技术。

从晚期集成到 co-design 随着构成 AI 基础设施的技术彼此更紧密互联，系统设计方式也在改变。加速器性能与功耗特性的变化，会影响系统所需的内存带宽与容量、互联性能、机柜级供电散热需求；反过来，数据中心内可用的供电、散热、网络，也会限制可部署计算系统的配置与规模。

各自独立设计组件、最后阶段才集成，存在天花板。于是 co-design ——从初始设计阶段就对齐 AI 计算平台与数据中心基础设施的需求——正日益普及。

co-design 如今延伸到数据中心的物理基础设施，包括供电与散热。在高密度 AI 系统中，供电、液冷与热管理已成为必须和计算系统需求一并考虑的设计变量。

AI 基础设施设计因此正从 " 最后阶段装配成品组件 "，转向 " 从一开始就对齐计算、内存、存储、网络、供电与散热的集成设计流程 "。

从 co-design 到共享设计标准随着 co-design 在各系统间扩展，行业也需要能让不同企业技术在同一数据中心协同工作的通用接口与要求。

供电基础设施是代表性领域。高密度 AI 环境下机柜级供电需求上升，业界正努力建立关于电能质量、功率波动管理与设备接口的通用标准。在此背景下，Open Compute Project（OCP，一个开发并共享数据中心硬件与基础设施开放设计与标准的全球协作社区）持续推进下一代数据中心电源架构、系统需求与接口的标准化。

通用设计标准能让开发供电设备、连接器、功率转换系统的企业，构建可互操作的产品与系统，而不必分别应对每个数据中心的特殊要求。

这一趋势不限于供电。关于加速器互联与内存接口的通用标准也在讨论中。内存行业里，JEDEC（制定内存等半导体技术规范的国℡标准组织）等关键产品的基础规范，再由各企业据此开发产品。从企业间 co-design 开始的协作，正演进为可被更广大行业生态采纳的共享设计基座。

co-design 如何改变内存的角色仅靠通用标准无法满足每个系统的需求。标准提供互操作基座，而对单个系统的优化建立其上，内存也是如此。随着加速器以更高速度处理越来越大的数据量，对内存带宽、容量、功耗与热性能的需求因系统而异。于是内存规格越来越早地随平台与系统架构定义，同时仍扎根于通用标准。

HBM 是这一转变的代表。围绕下一代定制化 HBM 设计的讨论正在升温，这类设计纳入客户的系统需求，以 base die（位于 HBM 堆叠 DRAM 裸片之下、负责数据输入输出等功能的裸片）为核心。

这一转变也改变了内存企业与客户的协作方式。协作范畴扩大到更早参与客户系统路线图、以及内存规格与开发方向应如何与之对齐的讨论。

SK 海力士同样在更早介入客户下一代 AI 系统开发，以扩大协作：把客户的系统路线图与内存开发计划对齐，共同定义其内存需求。

随着 AI 基础设施规模扩张，优化计算、内存、存储、网络、供电与散热已不够，支撑它们的数据流与供电散热基础设施也必须作为同一架构的一部分一并设计。

在 AI 基础设施竞争中，内存企业之间的差异化日益不再只来自产品性能，更来自多早理解客户的下一代系统开发计划、多深地参与设计过程。

展望未来，AI 基础设施的竞争将不仅由单项技术的规格塑造，更由整体架构能被协调得多精确来决定。SK 海力士正在扩大与客户及合作伙伴的协作，更早理解他们的下一代系统，并共同定义那些系统将需要的内存规格。

（文章为作者独立观点，不代表艾瑞网立场）