智东西

作者 | 三北

编辑 | 漠影

智东西 11 月 5 日报道，今日，百度正式发布并开源文心 5.5 Flash Base（ERNIE-5.5-Flash-Base）。这款模型采用稀疏 MoE 架构，总参数量达到280B，每个 token 仅激活 14B参数，在33.5T tokens上从零完成预训练，最长训练上下文达到128K，微调与推理支持1M tokens上下文。

在同尺寸基座模型的正面交锋中，它交出了一份颇具竞争力的成绩单。

根据百度公布的评测结果，ERNIE-5.5-Flash-Base 与DeepSeek-V4-Flash-Base（284B-A13B）、Hy3-preview-Base（295B-A21B）、MiMo-V2.5-Base（310B-A15B）等模型同台竞技，在多个能力维度取得领先，拿下同尺寸 SOTA（同等规模最优水平），尤其在推理、代码、学科能力以及长上下文任务上的表现更值得关注。

国产基座模型的竞争，正在进入更精细的效率深水区。同等规模下，模型的差异化究竟从哪里来？

拆解文心 5.5 Flash Base 的技术细节，我们可以发现，文心试图将效率目标贯穿模型架构、预训练数据和训练系统。从注意力机制到专家路由，再到未来 token 预测，其主要通过三项 " 重工 " 改造，让激活计算、KV Cache（键值缓存）都发挥更大价值。

模型目前已开放权重，并联合 vLLM、SGLang 等社区提供开源生态支持。

HF FP8: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base

HF BF16: https://huggingface.co/baidu/ERNIE-5.5-Flash-Base-BF16

技术博客：

https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/

vLLM 插件 :

https://github.com/baidu/vLLM-ERNIE

SGLang Cookbook： https://docs.sglang.io/cookbook/autoregressive/Baidu/ERNIE-5.5-Flash

一、如何做出同尺寸 SOTA，底子来自系统合力

首先来看基准测试成绩，正如前文提到，ERNIE-5.5-Flash-Base 拿下同尺寸 SOTA，推理、代码与学科尤其突出。

基准测试成绩背后，文心 5.5 Flash Base 的预训练 " 重工业 " 属性拉满。

据悉，该模型采用 280B 总参数的稀疏 MoE 架构，提供了较大的模型容量；每个 token 激活 14B 参数，控制了每个 token 的计算成本；模型共有 43 层 Transformer，Hidden Size 为 4096，拥有 64 个注意力头。这种稀疏设计让模型有机会在计算预算相对可控的情况下，容纳更多专家知识和专业能力。

在算法层面，文心 5.5 Flash Base 重点改造了注意力机制。模型将 HCA（重度压缩注意力）与 MLA（多头潜在注意力）组合成混合稀疏注意力，让不同层分工处理历史信息，在压缩长上下文、降低 KV Cache 开销的同时保留精准检索能力。此外，模型还在注意力层内部引入低秩门控注意力和 VHA（虚拟头注意力），进一步优化门控计算与不同注意力头之间的信息融合。

预训练中，文心采用 Muon 优化器与 FP8 混合精度，训练上下文逐步扩展至 128K。模型发布时提供的是预训练终点的 Checkpoint，尚未经过中训练和后训练，开发者可以基于这一统一起点，继续开展领域适配、指令微调、推理强化和 Agent 训练。

该模型在 33.5T tokens 上从零完成预训练，语料覆盖广泛的领域与语言，其中重点打造了网页、代码、长文数据这 " 三驾马车 "。

首先是网页数据。通过大规模多语言网页抓取、高保真文本抽取，以及模型驱动的多维质量过滤，构建知识覆盖更广、有效学习信号密度更高的网页语料。

其次是代码数据。除了来自代码仓库和网页的静态代码，文心还补充了 commit、issue、pull request、代码评审、需求到 PR、多 commit 轨迹、自动生成测试以及经过 CI 验证的修复数据。

第三是长文数据。文心同时使用经过长程依赖筛选和质量清洗的天然长文档、拼接天然文本与语义相近干扰文本构造的长序列，以及合成的 MRCR 式检索、基于引用的问答和多跳问答数据。

这三类数据分别强化知识覆盖、代码工程能力和长上下文理解。其中，仓库级代码和长程依赖能力尤其值得关注，因为这类能力往往需要模型在预训练阶段建立足够扎实的基础，后续单纯依靠补充少量数据很难完全弥补。

除模型架构外，文心在 Infra 层面改进了分布式 Muon 优化器，并推出面向大 head dim 的注意力算子 FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。

可以看到，同尺寸 SOTA 来自模型架构创新、数据与 Infra 优化共同作用的结果。底座能力越扎实，后续微调、强化学习和 Agent 训练能够继续释放的空间也越大。

二、把 " 效率 " 写进预训练，详解三处硬改造：省缓存、稳专家、早规划

深挖同尺寸 SOTA 模型之下的底层技术变化，文心试图通过一套组合拳，把 " 效率 " 当成预训练的设计变量。

简单来说，这套组合拳覆盖了模型处理历史信息、调用专家能力和预测未来 token 的三个关键环节。混合稀疏注意力决定模型如何访问历史，Multi-Router Latent MoE（多路由器隐空间混合专家）决定模型如何选择专家，ECHO（未来 token 预测机制）则让主干网络提前学习后续 token 的生成。

再加上 MultiMax 输出头、R2L 分词器等其他模型改进，以及分布式 Muon、FlashMask-4（高性能注意力计算组件）等训练基建，才算撑起面向 Agent 时代的前沿模型底座。

1、Latent-Gated Sparse Attention：37 层省缓存，6 层保精准检索

AI Agent 时代，随着上下文越来越长，模型需要处理和保存的历史信息就越多，KV Cache 与注意力计算成本也随之攀升。对于需要多轮调用的 Agent 应用，这笔开销还会持续累积。

文心 5.5 Flash Base 采用 MLA（多头潜在注意力）与 HCA（重度压缩注意力）组合的混合稀疏注意力，重新安排了不同层访问历史信息的方式。

具体来看，模型共 43 层，其中 37 层采用重度压缩注意力 HCA，其余 6 层采用多头潜在注意力 MLA。HCA 层将每 128 个 token 压缩为一条缓存条目，注意力只在这些压缩条目和最近一小段未压缩 token 构成的窗口上计算。这样，每个 HCA 层只需全上下文层 KV Cache 的一小部分，仍能保留对整个序列的全局视野。

通俗地说，面对一段很长的历史对话，模型并不需要每一层都逐字记住全部内容，大部分层看压缩后的 " 摘要 " 就能把握全局。

但压缩也有代价。某些任务需要精准找到历史中的具体信息，过度压缩可能损失细节。因此，文心 5.5 Flash Base 保留了 6 层 MLA，使模型能够逐 token 访问远距离历史信息。

为了控制这 6 层的计算开销，文心团队进一步引入 DSA（稀疏注意力）。一个轻量级 Indexer（索引器）会为每个 Query（查询）的历史位置打分，核心注意力只在得分最高的 Top-K（前 K 个）位置上计算。这样，模型可以先筛选出更值得关注的历史位置，再对这些位置进行精细计算。核心注意力开销不再随着上下文长度线性增长。百度披露，采用 DSA 后，这些层的预训练 Loss（损失值）与稠密注意力持平，训练速度则显著提升。

文心 5.5 Flash Base 还调整了 KV Cache 预算的分配方式。此前一种组合思路是 HCA 搭配 CSA（压缩稀疏注意力），即在 HCA 之外增加大量压缩稀疏注意力层，先将历史压缩 4 倍，再从中挑选部分信息计算。文心 5.5 FlashBase 则将这部分预算集中给少数保留全部 token 的 MLA 层。在 KV Cache 预算相当的预训练对比中，HCA 搭配 MLA 优于 HCA 搭配 CSA。长上下文评测显示，尽管模型仅保留 6 层 MLA-DSA，仍在 6 项长上下文 Benchmark 上取得不错效果。

除了注意力层之间的分工，文心团队还在注意力内部做了两处改造。

一是低秩门控注意力（Low-Rank Gated Attention）。传统门控注意力需要根据当前层的隐状态计算输出门，文心 5.5 Flash Base 则直接利用注意力层本身生成的低秩 Query Latent（查询潜变量）计算门控。由于 Query Latent 的维度只有隐状态的四分之一，门控投影的权重参数量减少了 75%。同时，消融实验显示，这一设计也带来了模型效果提升。

二是虚拟头注意力（Virtual Head Attention，VHA）。它在注意力计算之后增加轻量级跨头低秩混合，并通过增加带恒等跳连的轻量跨头低秩混合，增强不同注意力头之间的信息融合。推理时，这部分计算可以融合进注意力算子，额外开销极小。

从 HCA 和 MLA 的分工，到 DSA 的稀疏检索，再到低秩门控和跨头融合，文心团队试图让注意力机制在历史信息压缩、精准访问和计算效率之间找到更好的平衡。

2、Multi-Router Latent MoE：多路由协同决策，提升专家选择稳健性

传统 MoE 只用一个路由器给专家打分，再通过一次硬 Top-K 选出专家。文心团队发现，这个打分与专家的实际效用只是弱相关，中深层尤其明显；落选的专家拿不到该 token 的梯度，一旦选错就很难纠正，错误会不断自我强化。

因此，文心 5.5 Flash Base 引入 Multi-Router Latent MoE，让多个独立初始化的 Sigmoid（逻辑函数）路由器共同为专家打分。这些路由器的偏好会明显分化：一个专家只要被某个路由器强烈看好，或者同时获得多个路由器的认可，就有机会被选中。这相当于给专家选择增加了多个独立判断视角。单个路由器出现偏差时，其他路由器仍有机会提供补充信息，从而降低一次错误判断对最终路由结果的影响。

更重要的是，这套机制在提升路由稳健性的同时，没有增加专家计算成本。根据技术 Blog，激活专家数、专家 FLOPs 和通信量均与单路由器完全相同。与单路由器相比，路由打分与专家实际效用的相关性明显提升，原本相关性最弱的中深层提升最大。除第一层外，各层 FFN（前馈神经网络）均为 MoE 块：512 个路由专家选 10，外加 1 个共享专家，负载均衡采用无辅助损失的 bias 修正方案。

专家计算本身也做了压缩。相较于全宽专家（直接在完整 4096 维上计算）的计算方式，文心 5.5 Flash Base 先将 token 从 4096 维投影到 2048 维隐空间，让专家在这一隐空间中完成计算，再通过一次共享上投影映射回原空间。这一设计使专家 FLOPs 和 Dispatch/Combine（分发与合并）通信量约减半。

此外，MoE 模块还采用 Stable LatentMoE（稳定潜在混合专家）设计，通过上投影前的 RMSNorm（均方根归一化）与 SiTU-GLU（SiTU 门控线性单元）专家激活，让专家输出在 43 层网络中保持合适的尺度，提升优化稳定性。每个路由专家的路由权重还会乘以该专家自己的可学习标量。

从多个路由器共同决策，到 2048 维隐空间计算，Multi-Router Latent MoE 同时处理了专家选择的稳健性和专家计算成本问题。

3、ECHO：复用主干网络预测未来 token，提升多步起草质量

第三项创新 ECHO，瞄准的是模型训练中的未来 Token 预测。

传统语言模型主要通过下一个 token 预测进行训练。为了让模型学习预测后续多个 token，业界也引入了多 token 预测（MTP）机制，通常会在主干网络之外增加专用模块，负责预测未来 token。这种方式能够提供额外的训练监督，但也带来了一个问题：多步预测损失主要作用于新增的 MTP 模块，主干网络各层仍然主要服务于下一个 token 的生成。

文心的 ECHO 改变了这一结构。它直接复用主干网络自身的最后一层承担未来 token 预测，不再需要独立的 MTP Transformer 层。多步预测损失也因此直接作用于生成下一个 token 的参数，促使主干网络提前学习序列的后续展开。

百度披露，文心 5.5 Flash Base 以单步 ECHO 完成预训练，在推理与代码等任务上带来明显收益。

这一层还可直接充当投机解码的内置 draft 模型：它复用主干最后一层，不增加额外参数，更值得关注的是，它在预训练时只学多预测 1 个 token，作为 draft 模型却能连续向后起草多个 token，接受率高于用同样方式训练的外挂 MTP 模块。对 Agent 应用和多步交互来说，这种设计把训练期的未来预测与推理期的加速连接起来，效率收益贯穿模型生命周期。

除了以上三项核心创新，文心 5.5 Flash Base 还在其他配套基建方面进行了改进。

比如 MultiMax 输出头，其通过可学习的分段温度，对不同 token 的输出进行调制，既压制不合理 token 的长尾，又保留合理候选 token 的多样性。相关计算在融合的交叉熵 Kernel 中完成，训练开销可以忽略，也不额外增加显存，同时能够显著降低预训练 Loss。

再比如 R2L 分词器，模型采用全新的 BPE 分词器，词表约 20 万。针对数字，采用从右到左、最多三位一组的切分方式，这种设计有助于模型处理算术任务和数字密集型文本。

这些改动看起来分散，实际上都在解决模型训练与推理中的具体效率问题。

三、从堆参数到拼底座，每 token 效率决定主动权

大模型的效率竞争，正在从单纯压缩激活参数，延伸到模型内部每一个关键计算环节。

过去，MoE 架构通过稀疏激活减少计算量，长上下文技术通过压缩 KV Cache 控制存储成本。如今，百度文心进一步将这些设计组合起来，从注意力的信息访问、专家路由的决策方式，到主干网络的未来 token 预测，逐层优化每个 token 背后的计算过程。

这种变化与 Agent 应用的发展密切相关。Agent 执行任务时，往往需要反复调用模型、读取大量上下文、使用工具并进行多轮推理。单次生成的成本只是其中一部分，随着任务链条拉长，KV Cache 存储、重复计算和推理延迟都会不断累积。

因此，一款面向未来应用的 Base 模型，需要同时考虑模型容量、激活计算、长上下文成本和后续训练的可扩展性。文心 5.5 Flash Base 的设计思路正是如此。

对于开发者来说，开源 Base 权重的价值也由此进一步凸显。

百度将最新的文心 Base 模型开源，为不同领域的开发者提供了统一起点，让开发者可以根据自己的任务需求开展领域适配、指令微调、推理强化和 Agent 训练，也能够在预训练基础上对不同训练方法进行对照评估。

从行业竞争来看，同尺寸模型正在比拼每 token 激活效率、长上下文处理成本以及底座能力的可复用性。谁能把效率设计沉淀到预训练阶段，谁就更有机会在后续模型迭代和应用落地中掌握主动权。

结语：Base 即 SOTA 只是开场，正式版将至

百度此次开源文心 5.5 Flash Base，是其在大规模预训练阶段对模型效率的一次系统性探索。

从混合稀疏注意力到多路由器 MoE，再到 ECHO，三项核心技术分别改造了历史信息访问、专家选择和未来 token 预测。再叠加数据建设、分布式 Muon 和 FlashMask-4 等训练基建，文心试图把模型能力与计算效率一起沉淀到 Base 底座中。

智东西获悉，目前开源的仍是预训练终点权重，文心 5.5 Flash 正式版也将于近期发布。

对于开发者和整个开源社区来说，这个 Base 模型提供了一个新的起跑线。接下来，如何在这一底座上继续释放推理、代码、长上下文和 Agent 能力，将是文心 5.5 Flash 正式版更值得期待的看点。