快科技 11 月 6 日消息，百度正式开源最新基座模型文心 5.5 Flash Base（ERNIE 5.5 Flash Base）。

这款模型采用 MoE 混合专家架构，总参数量达到 2800 亿，但每个 Token 实际激活的参数只有 140 亿。整个模型使用 33.5 万亿个 Token 完成预训练，微调和推理阶段支持最长 100 万 Token 上下文。

从参数规模来看，文心 5.5 Flash Base 并不算小，但它的重点并不是一味堆参数，而是尽可能提高计算效率。

简单来说，MoE 架构可以让模型根据不同任务，选择部分专家参与计算，而不是每次都调用全部参数。文心 5.5 Flash Base 总参数达到 2800 亿，每个 Token 只激活 140 亿参数，在保留较大模型容量的同时，也能减少实际计算量。

上下文长度也是这次的一大看点。模型预训练阶段最高支持 128K 上下文，而经过微调后，推理阶段最长可以支持 100 万 Token。对于需要处理长文档、代码仓库和大量资料的开发者来说，这项能力比较实用。

百度还针对模型效率做了不少优化。

在注意力机制上，文心 5.5 Flash Base 采用混合稀疏注意力方案，通过压缩历史信息，减少处理长文本时的显存占用。同时引入多路由专家机制，让多个路由器共同参与专家选择，提高计算资源的利用率。

训练方面，模型采用 Muon 优化器和 FP8 混合精度，并推出自研 FlashMask-4 注意力算子，进一步改善大规模训练时的计算和显存效率。

性能方面，百度公布的测试结果显示，文心 5.5 Flash Base 在知识、推理、数学、代码、多语言和长上下文等多个项目中取得同尺寸模型领先成绩。

Benchmark 评测结果

其中，MMLU 成绩达到 93.3 分，MMLU-Pro 达到 78.4 分，HumanEval+ 达到 82.3 分，MBPP+ 达到 81.5 分。在代码测试中，相比 DeepSeek-V4-Flash-Base 等同级模型有明显优势。

不过需要注意，这次开源的是纯预训练基座模型，还没有经过中训练和后训练。也就是说，它并不是下载下来就能直接当作成熟聊天机器人使用，而是主要提供给开发者和企业，用于后续指令微调、领域适配和强化学习。

目前，百度已经在 Hugging Face 上提供 FP8 和 BF16 两种版本的模型权重，方便不同需求的开发团队下载使用。

百度也表示，经过后训练的 ERNIE 5.5 Flash 版本将在后续推出。

这次开源最大的看点，是百度把一个 2800 亿参数、经过 33.5 万亿 Token 训练的模型开放给开发者，同时通过 MoE 和稀疏注意力等技术控制计算成本。

随着大模型竞争越来越激烈，单纯比拼参数规模已经不够了，模型能不能跑得快、占用多少显存，以及后续训练是否方便，同样重要。文心 5.5 Flash Base 的开源，也给国内开发者提供了一个新的选择。

文心 5.5 Flash Base 架构图