IT之家 04-18
科大讯飞联合华为实现 MoE 模型大规模专家并行集群推理性能翻倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 4 月 18 日消息,科大讯飞研究院今日宣布,科大讯飞与华为昇腾联合团队通过多种优化手段提升 " 飞星一号 " 平台上 MoE 模型集群推理的性能上限,并在近期实现大规模专家并行集群推理性能翻番。

据介绍,科大讯飞不久前率先突破国产算力集群上 MoE 模型的大规模跨节点专家并行集群推理,公布业界首个基于国产算力的 MoE 模型训练推理方案。

在上一个版本算子和通信优化的基础之上,联合团队升级了适配 MOE 模型的 PD 分离 + 大规模专家并行系统解决方案,进行了多种技术创新工作,IT 之家总结如下:

适配 MoE 的 PD 分离部署,通过定制集合通信协议,消除集合通信流量冲突,解决推理过程中 Prefill 阶段和 Decode 阶段的相互干扰,使得 P 实例和 D 实例均达到系统最优,性能提升 20%+;

实现国产算力上 MTP 多 token 预测技术,降低 MTP 层计算耗时,整体性能提升 30%+;

专家负载均衡算法再升级,多 DP 负载均衡,实现卡间负载均衡差异小于 8%,集群推理吞吐性能提升 30%+;

创新性实现异步双发射技术,解决高并发下的高 CPU 负载问题,实现 CPU 和 NPU 的高效协同,降低服务请求调度耗时,系统性能提升 10%。

基于上述解决方案的迭代与升级,联合团队通过在 " 飞星一号 " 平台上对星火 MoE 模型、DeepSeekV3 / R1 进行实测,实现了推理性能比上一个版本提升 1 倍,已逼近国产算力上 MoE 集群推理的性能上限。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

华为 it之家 科大讯飞 技术创新 子和
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论