手机中国 11小时前
摩尔线程完成Kimi K3.1 Pro训练适配 双机16卡连续训练400步
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】11 月 16 日,摩尔线程宣布,旗下 MTT S5000 旗舰级 AI 训推一体智算卡与 MUSA 软件栈已完成月之暗面 Kimi K3.1 Pro 模型训练适配,并构建原生 FSDP2 多模态训练路径。在双机 16 卡联合测试中,系统连续完成 400 步训练,未出现数值溢出或异常中断,视觉分支也实现了实际梯度更新。

摩尔线程

Kimi K3.1 Pro 是一款开放权重原生多模态模型,总参数量约 2.8 万亿,支持最高 100 万 Token 上下文。模型采用 KDA、Gated DSA 混合注意力机制与 MoE 混合专家架构,同时具备视觉理解和工具调用能力。由于模型涉及动态稀疏检索、专家路由以及图文联合训练,对 GPU 算力、显存管理和多卡通信提出了更高要求。

摩尔线程此次适配主要围绕注意力计算、动态路由、视觉编码和跨模态投影展开,将这些模块接入统一的前向、反向与参数更新流程。训练方案保留 NeMo AutoModel 原生流程,通过 FSDP2 将模型参数、梯度和优化器状态分散至不同 GPU,减少单卡显存压力,跨卡及跨节点通信则由 MCCL 负责。

实际测试采用两台服务器、共 16 张 MTT S5000 智算卡,模型使用 13 层语言主干、16 个路由专家(Top-8 路由),并保留完整 27 层视觉塔和跨模态投影模块。训练使用 MedPix-VQA 图文数据集,全局批量为 16,序列长度为 1024。全部 16 个训练进程连续完成 400 次优化器更新,训练 Loss 从第 21 至 70 步平均 8.9365 下降至最后 50 步的 2.1802,验证集 Loss 也从第 100 步的 6.5297 下降至第 400 步的 4.6873,设备采样显存峰值为 44.80GiB。

视觉分支的参与情况也得到验证。技术团队检查发现,视觉塔图像嵌入、首尾层以及跨模态投影模块均产生了非零梯度和参数更新,说明视觉编码部分实际参与了训练,而非仅作为数据输入。需要注意的是,此次验证采用随机初始化的裁剪配置,并非完整模型的全规模预训练,主要用于验证训练链路的功能正确性与稳定性。

除基础训练适配外,摩尔线程还完成了 FSDP2 与专家并行协同、参数预取与梯度通信调度、高性能 KDA 算子以及 Chunk Loss 分块计算等优化。其中,本次 400 步测试实际启用了 Chunk Loss,其余三项也已完成适配,可用于支持更大规模的训练配置。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

摩尔 kimi gpu ai
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…