作者：何新

这两年，大模型行业绕不开的一个词是：参数量。

从百亿到千亿，从千亿到万亿，参数规模一度成了衡量模型技术实力的重要标尺，仿佛只要数字够大，一切问题都会迎刃而解。

但随着 AI 发展迈入深水区，行业的风向已经开始变了——

模型不仅要足够强，还要跑得足够快。

大家开始不再单单死磕参数，而是在卷规模的同时也更加注重 " 速度 "（Token/s），即每秒能吐多少 Token、单 Token 时延能压到几毫秒、一个 Agent 任务能不能在秒级完成。

Token 速度，正成为观察 AI 系统推理效率的一个重要窗口。行业正在从不同方向挖掘大模型推理的速度潜力——

比如，近期国内智谱 GLM 新模型 GLM-5.3-Highspeed，单用户跑出了惊人的 490tokens/s；知名产业分析机构 SemiAnalysis 下场，用 Kimi K3 测算 NVIDIA 集群的极限推理吞吐与成本曲线；硅谷团队 Inferact 开源了针对 Kimi K3 的谷歌 TPU 算子优化框架，跑出了将 NV GB200 远远甩在身后的极致速度；浪潮信息发布的元脑 SD200 Ultra 超节点更是直接把全球最大开源模型 Kimi K3 的单 Token 生成速度压到了 5.85ms，跑出了国内超节点最快速度 170tokens/s ……

从国内到国外，从大模型厂商到基础设施厂商，都在把 Token 生成速度往上拽。

这不是巧合，而是大模型从 " 能聊天 " 走向 " 能干活 " 之后，整个产业都开始不止卷参数规模，同时也卷速度了。

为什么模型越来越聪明

推理速度却快不起来？

要理解这场速度竞赛，得先看清一个反直觉的事实：大模型推理慢，往往不是因为算力不够，而是因为生成阶段（Decode）的访存受限（Memory-bound），芯片的计算单元大部分时间在空转，等待数据搬运。

简单来说就是，单纯增加芯片，并不一定能让模型按比例跑得更快。真正卡住速度的，是数据搬运效率。

那么，具体卡在哪了呢？主要有两点。

一方面，算子执行之间有着 " 访存空泡 "。

传统推理框架生成一个 Token，要发射几百个算子（kernel）。

每个算子大致都是从 HBM 加载权重、计算、写回结果、再启动下一个，当算子间进行高频切换时，每次切换都会存在启动延迟。

这对于显存带宽而言，便是许多被浪费的 " 空泡（bubble）"，就像一趟公交车，每站都停，起步、刹车、开门、关门，真正在路上的时间反而少得可怜。

另一方面，跨卡通信存在 " 等待墙 "。

目前，像 Kimi K3 之类的 2.8 万亿参数级别的超大模型必须跨卡分布，但在传统松耦合集群中，每解码一个 Token，被路由激活的专家都需要在芯片间高频通信。

而这样的跨节点通信，需要经过数据包封装、路由仲裁与排队等环节，导致长尾延迟，从而将整个集群陷入同步阻塞（Barrier），让大量算力在等待中白白流失。

因此，这两个瓶颈的叠加，让 " 快 " 从体验问题变成了生存问题——

第一，智能体（Agent）等不起。

当前，大模型已经进化为 Agent，角色更像一个能独立推进任务的执行者：拆解目标、制定计划、调用搜索和代码等工具、观察返回结果，发现偏差再回头修正。一个复杂任务跑下来，几十轮循环是家常便饭。

在这样的情况下，如果出词速度只有 20~30 tokens/s，一次深层思考链就要几分钟，整个自动化链路将直接被拖到卡死。只有出词速度跑到几百 tokens/s，AI 才能在秒级完成多轮思考和推理，真正像人一样实时反应，具备可落地的响应能力。

这意味着，Agent 要可用，速度是第一道门槛。

第二，成本扛不住。

众所周知，算力基础设施是名副其实的 " 吞金兽 "。

当大模型推理的显存利用率长期偏低，单字生成越慢，昂贵的 GPU/ 加速卡在等待数据时的空转电费和机器折旧就越高，每生成一个 Token，背后都有一大笔固定成本在分摊。

更麻烦的是，如果单个 Token 的生成速度上不去，单位成本就压不下来。

在 API 价格战越打越激烈的环境中，厂商一边需要降价抢市场，一边还得承担高昂的推理成本，等于在持续失血，恐将难以为继。

所以，行业追求 " 快 " 其实是在追求 " 算力利用率（MFU）最大化 "，从而将单 Token 成本压到商业盈利线以内。

第三，投机解码（Speculative Decoding）难放大。

值得注意的是，现代高性能推理广泛依赖 " 投机解码 "，即让小模型先猜多个候选词，再让大模型一步批量验证。

这样的路径意味着，如果底层大模型的每一步裸验证速度（Base Decode Latency）不够快，即使算法接受率成倍增加，整体吞吐量也难以增加。

如果吞吐量卡住了，那么体验、效率、收益、发展都将受阻。

可见，速度不再是锦上添花的体验指标，而是决定 AI 能否从 " 可用 " 走向 " 好用 "、从 " 技术演示 " 走向 " 产业落地 " 的底层门槛。只有在卷参数规模的同时把 Token 生成速度也提上去，才算拿到了 Agent 规模化落地和商业闭环的入场券。

为了实现 " 快 "

中国算力的破局之路

问题来了，如何才能让 AI 跑出极限速度呢？

目前大家比较熟知答案是，精进芯片制程，制程越先进自然越有优势，但我们也不能光指望芯片制程的突破，深入芯片内部、主板总线乃至整个系统也是重要的突破方向。

基于此，以浪潮信息的元脑 SD200 Ultra 为代表的基础设施团队，展示了一条贯穿算力系统跑出一流性能的实战路线——

一方面，针对细粒度算子的 " 访存空泡 " 问题，超级算子把 " 走走停停 " 变成 " 一站直达 "。

浪潮信息的元脑 SD200 Ultra 通过使用 Kimi K3 构建超级算子智能体，将 KDA、Gated MLA、MoE 中的众多基础算子融合为计算与通信协同执行的大算子。

结果是，浪潮信息不仅做到了通算融合和 Tile 级细粒度流水线设计，将原本独立的通信耗时，放到了矩阵计算的过程中，实现了数据还在传输、算力已经开始预热的高效调度，消灭了流水线停顿，还把算子数量降低了 10 倍，大幅减少了算子的启动次数和 HBM 访问开销，提升了 GPU 整体执行效率。

这和 Inferact 把 92 层 MoE 全部装进单个 Megakernel 的思路异曲同工，本质都是在拆掉算子边界，挤干显存带宽切换的浪费，让装卸货和行驶同步进行，把 " 公交车 " 变成了 " 高铁 "。

值得一提的是，超级算子还能让 AI 自己搓代码。

随着 AI 的飞速发展，手写极致性能的跨卡融合算子对工程师来说已经逼近人力极限，国内外工程团队都在探索用大模型自身来编写优化底层算子。

因此，浪潮信息用 "K3 优化 K3"，实现了 Kimi K3 在元脑 SD200 Ultra 上的推理性能提升 3 倍以上，让大模型自动推演硬件资源分配，实现系统软件栈自我进化，不断推进 AI 的极限速度。

另一方面，对于跨卡通信的等待问题， 紧致扩展、统一寻址与对称内存让跨卡访问像隔壁串门。

浪潮信息将数据中心网络（Scale-out）整体降维进单机柜内部（Scale-up）创新 Co-Fabric 互连架构，把计算域总线范式从 xPU 域扩展到覆盖全部系统资源（计算、存储、网络与管理），纳入单一互连网络。

简单来说，就是通过提供跨主机域的统一寻址、具备 Load/Store 语义的原生 P2P 通信以及精简的协议栈，Co-Fabric 旨在建立一个统一的数据搬运平面，打破主机域边界，最大化整个超级节点端到端的数据搬运效率。

以元脑 SD200 Ultra 为例，基于 128 芯本土 AI 芯片，构建 3D Hyper-Mesh 紧耦合拓扑，并通过提供统一编址，再结合原生内存语义通信，直接减少了跨芯片访问中的中转和数据搬移，实现了系统内 0.69 微秒的极低延迟通信

与此同时，通过全局统一编址、虚拟影子设备映射、跨域地址翻译与路由，元脑 SD200 Ultra 实现了 GPU 跨主机域的统一寻址访问，大幅降低了通信开销

更关键的是，对称内存技术直接减少了地址转换、避免了缓冲区中转，从而缩短了数据交换路径，做到了远端显存访问也能像读本地显存一样自然，将集合通信耗时硬生生压缩了 3.5 倍。

可见，浪潮信息将跨卡通信变成了从 " 跨城寄快递 " 变成了 " 同一栋楼里串门 "，极大程度上减少了等待时间和成本。

不难看出，浪潮信息其实是在芯片制程受限的现实下，把芯片、互联、算子、软件栈全栈拉通，用系统级协同去逼近速度极限，让前沿模型的能力真正转化为千行百业可负担、可获取的智能供给。

" 快 " 字背后

AI 行业从提供算力走向生产智能

总而言之，从 GLM 的极速展示，到 SemiAnalysis 聚焦的软硬架构解法，再到 Inferact 与浪潮信息在 Kimi K3 上交出的系统答卷，这些信号都在表明同一个趋势：大模型推理的下半场竞争，主战场已经开始转移到系统级工程。

也就是说，在单芯片摩尔定律放缓、先进制程受限的客观现实下，参数规模不再是衡量技术实力的唯一标尺，单纯比拼算力的时代正在画上句号：继续只盯着一颗芯片的峰值性能，边际收益越来越小；真正的增量，藏在芯片之间、系统之内。

这背后，是 Agent 时代，AI 算力行业的竞争逻辑正在升级：从 " 提供算力 " 走向 " 生产智能 "从单点硬件性能的比拼，转向全栈系统能力与开放生态的协同。

这意味着，谁能把智能变成像水电一样可负担、可持续供给的社会基础设施，谁才能在下一轮智能化浪潮中定义行业格局。