微软人工智能研究团队近日详细介绍了最新开发的基础模型 MAI-Base-2，并称其在效率上显著优于领先的开源替代方案。

MAI-Base-2 并非一款直接可用的大型语言模型（LLM），而是一个去繁就简的原型基础模型。开发者需通过多轮额外训练，为其增加推理功能和安全护栏，才能将其转化为完整的 LLM。

性能与架构优势

目前市场上最强大的开源基础模型为 DeepSeek-V4-Pro-Base。微软表示，在涵盖科学、编程和数学问题的一系列内部基准测试中，MAI-Base-2 的表现优于前者。在某些指标上，其硬件效率更是高达 DeepSeek 的 12 倍。

这一性能突破得益于其采用的混合专家（MoE）架构。与微软上一代将 MoE 层与前馈神经网络（FFN）模块混合的设计不同，MAI-Base-2 完全由 MoE 层构成。该模型拥有 2 万亿参数，但在处理提示词时仅激活其中的 800 亿个，通过仅调用部分人工神经元而非整个神经网络，实现了更高的计算效率。

训练规模与技术细节

微软动用 1.6 万块英伟达 GB200 芯片，耗时 38 天完成了该模型的训练。训练数据集包含 50 万亿个标记，其中约五分之一用于训练集成在模型中的计算机视觉模块，这使 MAI-Base-2 在理解科学图表等任务上的表现优于前身。

在训练过程中，微软采用 " 梯度裁剪 " 技术防止因梯度变化导致的错误，并使用开源 AI 工具 Muon 加速训练流程。这种由算法生成的反馈以 " 梯度 " 形式穿过模型各层，重新校准每一层以提升输出质量。

微软计划通过 Azure 云平台向 " 受信任的合作伙伴 " 许可 MAI-Base-2 的权重，并利用该模型驱动一系列新的 LLM。公司表示，将在不久后分享关于这些衍生模型的更多信息。

【星途科讯 图文丨略略 首发于 ZAKER 科技，转载请注明出处】