智东西 10 月 15 日报道，刚刚，一款刚登上 OpenRouter Token 全球使用量周榜第二的大模型，开源了！

阶跃星辰正式开放Step 5 Preview的模型权重，BF16、FP8 两个版本同步上线 HuggingFace 和 ModelScope。

Hugging Face：https://huggingface.co/stepfun-ai/Step-5-Preview

ModelScope：https://modelscope.cn/models/stepfun-ai/Step-5-Preview

Step 5 Preview 采用稀疏 MoE 架构，总参数量 600B、激活参数仅 27B，支持100 万 Token上下文窗口。在 Artificial Analysis 的 Intelligence Index 榜单中取得 44 分，位居全球开源模型前三。

正式发布后，该模型很快进入全球开发者视野。截至 2026 年 10 月 15 日，Step 5 Preview 的 Token 用量在开放模型平台 OpenRouter 的周榜、日榜均位列第二，近七日用量约 18.8 万亿 Token。

根据 Step 5 Preview 发布时的 Artificial Analysis 评测数据，其单任务平均成本仅为 Claude Opus 5 的 1/8，前者单次总开销 0.71 美元（约合人民币 4.75 元），后者为 5.86 美元（约合人民币 39.22 元）。

在基准测试方面，据阶跃团队公布，在公开和内部评估中，Step 5 Preview 在复杂的软件工程任务（包括长程规划任务）、专业知识工作和金融领域等基准测试中展现出较为均衡的综合能力。

在 Agents ’ Last Exam 的 CLl 子集 ALE-CLI、金融投资研究评测 FrontierFinance，以及跨领域深度研究评测 DRACO 上优于 Kimi K3、GLM-5.3，仅次于 GPT-6 Astra 或 Claude Opus 5。

Step 5 Preview 在榜单和实际使用中展现出的表现，也让人好奇：这款模型背后，究竟有哪些不同的技术设计？我深扒了 Step 5 Preview 的技术博客，试图找到答案。

一、92 层窄深架构，从架构层面提高计算效率

Step 5 Preview 由92 个 Transformer 模块堆叠而成，模型深度与 Qwen 3.8 Max、Kimi K3 等万亿参数级开源大模型相当，但总参数量不足这些模型的 1/4，激活参数不足 1/3。

为什么深度如此重要？

阶跃星辰的解释是：智能体任务中，模型需要不断调用外部工具，每次调用都可能带来大量新文本。考虑到 Token 效率，模型未必有机会通过显式思维链充分推理，因此更加依赖读取上下文时的 " 隐式推理 "。

在 Transformer 中，信息沿着 token 时间方向和网络深度逐层传播。如果层数不够，多跳依赖的信息可能还没完成传递就耗尽了网络深度，长文本中的复杂推理便可能无法完成。

行业内还有一条技术路线是通过循环或递归结构增加等效深度，阶跃星辰则选择了更直接的做法：加深层数、控制网络宽度。

这套 " 窄而深 " 的设计，一方面是为多跳推理提供更长的信息传递路径，另一方面可以控制参数规模以及响应计算开销，从而让模型获得与万亿级模型相当的长程任务能力。

在注意力机制的配置上，Step 5 Preview 按 3:1 的比例交错布置两类注意力层：3/4 是高效的 Gated 滑动窗口注意力层，1/4 是稀疏全注意力层。

阶跃星辰称，团队在对比多种线性注意力方案后发现，各方案性能差距其实很小，但滑动窗口注意力结构最简单，且对投机解码更为友好。

二、用 Sparse GQA 给百万 token 上下文的注意力 " 瘦身 "

模型有了更深的推理路径，下一步是控制上下文带来的注意力计算开销。

当上下文长度达到 100 万 token 时，全注意力层会成为训练和推理共同的效率瓶颈。

阶跃星辰的解法是在全注意力路径上采用一种名为 Sparse GQA 的稀疏注意力机制，即在标准的分组查询注意力（GQA）中引入稀疏索引，模型不必对全部历史信息做注意力计算，而是先筛选、再计算。

这一思路并非阶跃首创，此前 DeepSeek 的 DSA 等工作已做过类似探索。

阶跃星辰称，其实际部署中需要跨越三道坎：筛选器本身的开销、筛选后碎片化计算的 GPU 利用率、以及筛选精度与数据读取量之间的权衡。

相比 MQA（Multi-Query Attention，多查询注意力）和 MLA（Multi-Head Latent Attention，多头潜在注意力）结构，GQA 其实会放大这三重矛盾。团队之所以选择 GQA，是因为该结构在实验中的长上下文精度更好，且更利于多 GPU 并行推理。

稀疏 GQA 示意图 1

但这三重矛盾也不能忽视，针对此问题，阶跃给出了 Sparse GQA 具体方案：

将相邻的历史位置压缩为 " 块 "来降低筛选器成本，块大小设为 8，筛选与选择环节的成本因此下降 8 倍；

利用相邻 token 语义相近、筛选结果高度重叠的特点，对相邻 token 的筛选结果取并集、合并计算，以改善 GPU 利用率；

经过反复试验，确定了每 8 个 token 为一组、共筛选4096 个 token的配置。文本越长，这套方案省下的计算越多，而信息覆盖率与更精细的参考方案几乎相同（78.06% 对 79.09%）。

在稀疏机制下，筛选器先将共享的索引键压缩为块表示，每个 KV 分组独立选出相关的历史块，主计算路径只读取被选中的原始 K/V 以及当前块内可见位置。

换言之，模型先粗选章节、再精读原文，避免了对百万级 token 全量计算注意力的开销。

稀疏 GQA 示意图 2

三、用三层手段压住数值爆炸与梯度尖峰，实现更稳定的训练

前两步分别处理模型的推理路径和长上下文计算开销，但是这些设计要落地，还得让训练过程足够稳定。

阶跃星辰在训练中遇到的主要问题之一，就是数值爆炸和梯度尖峰。

训练过程中某些数值突然失控，轻则拖慢进度，重则让此前的训练成果作废。团队在 FP8 低精度训练框架下，给出了三项应对措施：

第一项是将隐藏状态转为 FP32 精度。

低精度训练速度快、成本低，但模型加深后，少数取值极大的数据点会在低精度格式下迅速失控。改用高精度存储这部分数据后，极端值下降了近十倍，额外成本则影响不大。

第二项是将归一化层的缩放因子转为 FP32。

该模型归一化层采用零中心 RMSNorm，其调节参数在低精度格式下一旦恰好停在临界值，就会让某个计算通道反复 " 开关 "，引发输出震荡。把这个参数改为高精度存储后，输出震荡问题得到明显缓解。

第三项是细粒度梯度钳制。

团队观察到，梯度尖峰并非源自数据噪声或输出层，而是起于中间某些层，并在数层之内被放大数个数量级，数据重复似乎也会推波助澜；其成因可能与层冗余在反向传播中反复放大特定信号有关。

由于异常梯度极为稀疏，团队只需在每层的梯度中挑出极小的一部分（占比为 0.00004%）进行限幅，就能抑制尖峰，让训练收敛曲线明显更平滑。

细粒度梯度钳制之前（蓝色）和之后（橙色）的 LLM 损失比较

结语：从架构优化到开放部署，模型能力走向真实任务

回看 Step 5 Preview 的技术设计，从 92 层窄深架构，到 Sparse GQA，再到深层网络的训练稳定性优化，这些选择分别对应着模型推理、长上下文处理和训练工程中的不同问题。它们并非某一项单点技术的突破，而是一系列围绕模型能力与实际运行效率展开的设计取舍。

放到当下的大模型行业，参数、榜单分数只是入门门槛。模型只有扛得住开发者反复调试，方便企业大规模部署，并且能顺利接入真实业务流程，它的能力才能转化为看得见的生产力。

Step 5 Preview 从两条路径推进落地：面向开发者，官方放出 BF16、FP8 两种精度权重，同步上线 Hugging Face 与 ModelScope；面向普通使用者，模型接入腾讯 WorkBuddy 开放为期两周的免费试用。

两条渠道并行，让阶跃星辰的覆盖人群，从 Agent 开发者延伸到办公用户和有本地部署需求的研发人员。

对 Step 5 Preview 来说，模型权重开放也意味着这些技术设计将接受更多真实部署环境和复杂任务的检验，也让阶跃在架构与训练上的技术探索，有机会进入更广泛的实际应用场景。

模型能力的竞争仍在继续，但比拼的已不只是模型本身。如何让前沿模型的能力真正走进实际应用，或许是下一阶段大模型竞争中更值得关注的问题。