【CNMO 科技消息】近日，由德国人工智能协会协调的一个研究联盟发布了开源大语言模型 Soofi S 30B-A3B，该模型在德国电信位于慕尼黑的工业 AI 云基础设施上完成全部训练。

人工智能

其预训练报告显示，Soofi S 在英语和德语基准测试中均取得了完全开源模型中的最高分，超越了此前领先的 OLMo 3 32B 和 Apertus 70B 等模型。

Soofi S 采用混合专家架构，总参数量为 316 亿，但每个生成 token 仅激活约 32 亿参数，实际计算成本更接近 30 亿规模的稠密模型。

该联盟直接采用了英伟达 Nemotron 3 Nano 的混合架构设计，将 Mamba-2 层与标准注意力层相结合。

与传统 Transformer 模型相比，其核心差异在于内存行为——常规模型的 KV 缓存随上下文长度线性增长，在长输入和多请求并行时容易成为瓶颈，而 Soofi S 的 52 层中仅有 6 层需要维护此类缓存。

在实际生成吞吐量方面，当上下文长度为 40000 个 token 且并行请求数为 32 时，Soofi S 的每 GPU 每秒生成 token 数约为 140 亿至 240 亿参数规模稠密模型的 8 倍。从 4000 到 256000 个 token 的上下文范围内，Soofi S 的吞吐量几乎保持平稳，而常规模型则显著下降。在测试数据中，仅有阿里巴巴的 Qwen3.5 35B-A3B 表现出类似特性，后者同样采用了混合架构。

训练数据方面，联盟共处理了约 27 万亿个 token，分为三个阶段。第一阶段使用约 20 万亿个 token，来源涵盖网页、代码、数学和领域特定文本的广泛混合，用于建立语言基础。第二阶段使用约 6 万亿个更高质量的 token，以强化已学习到的模式。第三阶段则通过训练最长可达 100 万个 token 的超长文档来扩展上下文窗口。

德语数据在整个训练中的占比被刻意提升，第一阶段占 7.2%，第二阶段升至 15.3%。相比之下，英伟达 Nemotron 的参考配方中，所有非英语语言合计仅占约 5%。数据来源包括 HPLT 德语网页文本、德国公共领域语料库、FinePDFs 和 FineWiki 的德语部分，以及 Genios 商业语料库中来自 916 家德国出版物的 1.93 亿篇报纸文章，辅以机器翻译和合成生成的德语文本。

在针对 16 个开源模型的评估中，Soofi S 在德语和英语的 aggregate 分数上均领先于所有完全开源模型，包括艾伦人工智能研究所的 OLMo 3 32B 和苏黎世联邦理工学院及洛桑联邦理工学院的 Apertus 70B。在欧洲主权基线模型中，Soofi S 在所有德语基准测试中均排名第一，部分项目领先优势达到两位数。

代码能力方面，Soofi S 在 HumanEval 上得分 73.8%，MBPP 上得分 70.2%，德语版 MBPP 上得分 84.2%，均为开源模型中的最佳成绩。在德国特定区域知识测试 INCLUDE-DE 上，Soofi S 以 61.2 分与 Qwen3.5 35B-A3B 并列第一。与 Nemotron 基线相比，德语数据配方使语言能力提升了 15.1 分，科学测试 GPQA-Diamond 提升了 9.6 分，且未牺牲英语表现。

不过 Soofi S 也存在明显短板。在德国竞赛数学测试 Minerva MATH-DE 上，该模型仅得 56 分，远低于 Qwen3.5 35B-A3B 的 76.5 分和 Gemma 3 27B 的 65.6 分。在开放事实检索测试 NaturalQuestions 上也表现落后，这可能与仅 32 亿的激活参数量有关，其可存储的世界知识少于 270 亿的稠密模型。

版权所有，未经许可不得转载