作者｜冬梅

过去两年，AI 基础设施几乎讲的是同一个故事：更大的模型、更多的 GPU、更高速的网络，以及功率不断上升的智算集群。

1 Agent 开始 " 干活 " 后，基础设施出现结构性变革

但当 AI 从回答问题的聊天机器人变成能够拆解任务、调用工具、搜索资料、执行代码并持续运行的 Agent，原来的基础设施逻辑正在出现改变。

这种改变首先体现在计算链路上。以前企业部署大模型，主要解决的是 GPU 数量、显存容量和推理速度等问题，CPU 更多承担辅助角色。但随着 Agent 规模应用后，需要解决的问题变多了：模型推理只是 Agent 任务执行中的一个环节，此外还夹杂着大量任务拆解、流程编排、信息检索、工具调用、状态管理和安全隔离等琐碎但是仍然很重要的工作，这些都需要依靠 CPU、内存、存储和网络共同完成。原本那套堆 GPU 的 AI 基础设施建设套路，难以承载未来海量的 Agent 长期运行、频繁交互的新需求。

一次模型调用，过去可能只是 Prompt 进去、Token 出来，现在，一个复杂任务背后可能同时运行十几个甚至几十个 Agent。它们要先理解需求，再拆分步骤、查询信息、调用模型、执行工具，最后对多个结果进行归纳、校验和整合。

GPU 仍然负责最核心的模型推理，但越来越多工作开始落到 CPU、内存、存储、网络和沙箱环境上。

7 月 9 日，在 2026 开放计算大会上，浪潮信息副总经理赵帅给出的判断是：Agent 正在迫使 AI 基础设施重新分工。

"AI 算力很重要，并且在未来十年依然是 AI 基础设施最重要的一部分。同时，CPU 算力也重新回到了大家的关注点。Agent 将带来一批独立于传统 GPU 服务器之外的 CPU 计算需求。"

这不是 CPU 取代 GPU，而是 AI 基础设施从一条计算链，变成两套彼此耦合的系统：一套负责生产 Token，另一套负责让 Agent 真正行动起来。

2 GPU 负责 " 想 "，CPU 负责 " 干 "

在传统大模型推理中，最受关注的是 GPU 数量、显存容量、卡间互联以及单 Token 生成速度。因为模型参数和计算主要集中在 GPU 上，CPU 通常只是承担输入输出、任务管理和部分数据预处理。

Agent 改变了这种结构。

一个 Agent 接收到任务后，通常不会立刻调用大模型生成最终答案。它可能先拆解需求，确定要调用哪些工具，查询哪些实时信息，再将不同步骤交给不同模型或 Agent 执行。

赵帅将这种运行环境描述为一个个 CPU 沙箱。

"Agent 一定是运行在 CPU 之上的，因为要做更多的其实是整型运算、逻辑推理、分支预测等等工作，这一定是运行在 CPU 之上的。"

以一个包含八个步骤的任务为例，真正需要 GPU 执行模型推理的可能只有其中一部分；信息查询、任务拆解、决策分析、工具调用和流程控制，更多依赖 CPU。

这也是为什么，Agent 时代讨论的 CPU 需求，不能简单理解为一台 AI 服务器里要多装几颗 CPU。浪潮信息技术专家在采访中专门澄清，传统 AI 服务器仍然会围绕 GPU 设计，Agent 带来的变化，是企业可能需要额外建设一批高密度 CPU 宿主机。

" 新的 Agent 宿主机是 CPU 服务器，这个其实是额外新增加的一部分新的需求。"

换句话说，原来由两颗 CPU 管理八颗或十六颗 GPU 的服务器不会消失，GPU 高速互连域也仍然以 GPU 为中心。但在 GPU 推理集群之外，还会出现专门承载 Agent 编排、工具服务、沙箱运行和状态管理的 CPU 集群。

赵帅认为，随着这一变化，企业 AI 系统中 CPU 与 GPU 的总体数量关系可能发生明显变化。

Agent 的资源消耗高度依赖任务类型：一些临时 Agent 完成任务后便会释放，另一些企业级 Agent 却要长期驻留；简单信息查询可能只需要较小的 CPU 和内存资源，AI Coding 则需要持续读取代码仓库和历史上下文，对内存、存储和网络提出更高要求。

赵帅说，浪潮信息此前的测试显示，" 日常的 Agent 任务下，每个 Agent 单核 2G 内存就能够支撑一个 Agent 稳定运行 "，但同时，针对一些长上下文和复杂任务，需要为 Agent 配备更多的计算和内存资源。

企业真正面对的问题，是如何根据 Agent 的生命周期、上下文长度和工具类型，动态分配资源。

多 Agent 提高质量，也会把 Token 账单放大 Agent 基础设施的另一个矛盾，是推理质量与计算成本。

单个模型难以稳定处理复杂任务时，一种正在出现的工程路径，是同时调用多个 Agent 或多个模型，再由评审模型对结果进行聚合。

赵帅将两条路径区分为 " 群智协同 " 和 " 多模融合 "。

多 Agent 主要通过任务拆解、信息查询和多轮协作，提高一个模型系统的稳定性；多模型融合则让擅长推理、代码、图像或专业知识的不同模型分别处理任务，再统一生成结果。

"GPU 决定了模型的上限，多 Agent 是用工程化手段来拔高模型治理水平，这是用工程化能力解决；多模融合其实是用技术化能力打破 Agent 的智能上限，这是最大的差别。"

赵帅以一次旅行规划任务为例称，他们内部调用多 Agent 模式时，系统会启动 30 多个 Agent，分别查询交通、景点、行程和休息安排，再将结果汇总。相比快速模型直接生成答案，多 Agent 输出通常更完整，也更容易发现不存在的车次或不合理的行程安排。

但这笔质量提升并不免费。

原来一次请求只调用一个模型，现在可能同时调用多个模型；原来一次生成即可结束，现在需要经历检索、推理、评审和融合。模型调用次数和 Token 消耗都可能成倍增加。

对于企业来说，这意味着一个很现实的问题：多模型融合效果更好，但经济账是否算得过来？浪潮信息技术专家的回答是，不能把所有任务都交给融合模型，而要先对任务分级。

简单问答可以交给推理速度快、参数较小的模型；OCR、格式转换等任务，也没有必要调用万亿参数模型。只有代码生成、复杂逻辑分析或高价值决策，才进入多模型融合链路。

赵帅举了一个市场洞察报告的例子。

Agent 首先从网络上查找信息，其中的图片和 PDF 可以交给几十亿参数的小模型处理；企业内部知识库和文档，可以由千亿参数模型归纳；最后，只有在整合十几个甚至几十个来源、生成完整报告时，才调用更强的万亿参数模型。

因此，多模型融合的核心并不是把更多模型堆在一起，而是模型路由。

" 这里有一个比较大的难点就是模型路由，这也是行业内重点在做的一个工作，就是一定要把模型路由，把一些真正让企业能够看起来用了几个模型融合，但是可能的成本比你所有任务都用万亿参数大模型还要低，因为会把所有的简单任务全卸载掉了。"

从这一角度看，模型越多，不一定意味着成本越高。

如果一个能力不足的模型需要反复生成、人工修改和重新调用，累计 Token 消耗可能高于一次融合推理。浪潮信息技术专家称，在其软件研发实践中，普通模型生成的代码往往要多次试错，而融合模型可能减少反复迭代。

但这仍然取决于路由的准确性。

一旦平台无法判断任务难度，把大量简单请求错误地送入大模型或融合链路，多模型系统反而会成为新的成本黑洞。未来企业 AI 平台的竞争力，很可能不再只是拥有多少模型，而是能否判断什么时候应该调用哪个模型，以及什么时候根本不需要调用大模型。

3 Agent Infra 不是一台新服务器，而是一场系统重构

浪潮信息此次发布了一款 CPU 原生液冷整机柜服务器，并发布了面向多模融合的元脑 SD200 超节点 AI 服务器，以及 SD200 企业版。

按照浪潮信息披露，CPU 原生液冷整机柜可以容纳 384 颗通用处理器，并支持 4 万个以上 Agent 并发；SD200 则提供 4TB 统一显存，可同时支撑 4 个万亿参数大模型运行；SD200 企业版 16 卡统一 Scale Up 计算域，万亿参数模型的首 token 延迟降低 40% 以上，给企业提供了更低迁移和适配成本的选择。

但相比单一产品参数，更值得关注的是其背后的架构判断。

赵帅认为，Agent Infra 与传统 AI 基础设施最大的区别，是过去相互独立的 CPU 计算集群和 GPU 推理集群必须重新连接。

" 从今年开始大家会发现一定要把 CPU 跟 GPU 结合起来，怎么结合？系统该怎么搭？CPU 的 Agent 集群和 GPU 推理集群到底怎么样匹配，怎么样连接，怎么共享存储。用什么样的方案，这都是大家面临的很核心的问题。"

这种连接不仅是网络连接。

Agent 需要读取企业数据、调用模型、访问知识库，并在多个沙箱之间传递状态。CPU 集群与 GPU 集群之间的距离、带宽和延迟，都会直接影响一次任务的完成时间。

过去的数据中心规划中，通用业务和 GPU 训练集群可以相对独立。高耗能的 GPU 集群可以部署在电力更便宜的地区，面向用户的业务系统则部署在靠近市场的位置。

但 Agent 需要在二者之间频繁往返。

" 你有可能需要让 Agent 更靠近你的 AI 集群，以往云数智、AI 集群是分开的，大家一直讲东数西算，最大的点就是可以把所有 GPU 放在西部，所有正常业务都放在东部，这样更靠近用户。但是未来会发现可能不是这样的，仅仅这样做是不够的。"

这意味着，Agent 可能改变的不只是服务器配置，还包括数据中心选址、网络架构、存储布局和资源调度方式。

对于已经建设传统数据中心的企业，改造成本也不会很低。浪潮信息技术专家表示，如果现有基础设施主要是通用服务器，通常无法承载最新的万亿参数模型，服务器和交换机都可能需要更新，网络也会从传统带宽升级到 400G 甚至 800G。

只有已经部署一定规模 AI 服务器和高速网络的企业，才可能通过增加互联设备和节点完成平滑升级。所以可以这样说，Agent Infra 并不是所有企业都必须自建的一套标准配置。对于中小企业而言，大规模采购 CPU 机柜、GPU 超节点和高速交换网络，未必是最经济的选择；云服务、托管集群或者更小规模的一体机，仍然可能是更现实的路径。

浪潮信息也承认，大型超节点对多数企业来说门槛较高，因此正在将部分超节点架构缩小到企业级设备中。

这反映出 Agent 基础设施产业化面临的核心问题：行业知道系统需要重构，但尚未形成统一的部署形态。

4 芯片竞赛之后，系统能力开始成为新变量

Agent 增加 CPU 需求的同时，大模型训练和多模型推理仍然在推高 GPU 功耗。

赵帅在采访中称，国内部分 AI 机柜正向 300 千瓦发展，海外兆瓦级机柜也在进入产品化阶段。浪潮信息此次推出高密 CPU 整机柜，一个原因就是让 CPU 集群的功率密度与 AI 数据中心现有的供电、液冷基础设施相匹配。

按照赵帅的判断，当单机柜功率达到数百千瓦甚至兆瓦级后，传统 380V 供电将难以继续扩展，800V 高压直流供电需要直接进入机柜。

" 当你必须把电压提高，才能用稍微细一点的电缆。电压 × 电流 = 功耗。只有这样才能保证基础设施是可控的，所以 800V 进机柜是未来基础设施第一个大的变化。"

随之改变的还有 UPS、变压器、母线、液冷和机房布局。

浪潮信息此次 CPU 机柜采用 " 算电分离 " 设计，将电源从液冷计算节点中移出，通过独立供电模块和 Busbar 为节点供电。其目的既是提高计算密度，也是在电源尚难以全面液冷的情况下，实现计算节点的液冷覆盖。

赵帅进一步判断，兆瓦级机柜最终会推动吉瓦级智算中心出现，而现有数据中心难以直接承载此类设施。

不过，吉瓦级智算中心仍是面向未来的基础设施设想。赵帅预计，其可能在未来两到三年落地。目前绝大多数企业面对的，更现实的问题仍然是如何提高已有算力利用率，而不是立即建设吉瓦级数据中心。

这也是 Agent Infra 讨论中容易被忽略的一面：产业一边在追求更大的集群、更高的密度和更快的 Token，另一边，大多数企业甚至还没有解决模型调用成本、资源闲置和应用价值的问题。

随着大模型厂商和互联网公司研发 ASIC，未来 AI 基础设施不会只有 CPU 和 GPU，还会出现 NPU 以及针对 Prefill、Decode、Attention、FFN 等环节设计的专用芯片。

浪潮信息技术专家将未来的 Token 生产类比为汽车流水线：不同环节将使用不同的系统和芯片，以提高整体效率。

Prefill 可能运行在一类系统上，Decode 运行在另一类系统上；Decode 内部还可能继续拆成 Attention 和 FFN，由不同架构承载。这意味着，芯片本身只是一个计算单元。真正决定 AI 应用能否规模化的，是如何把 CPU、GPU、ASIC、内存、存储和网络组合成一套稳定运行的系统。