钛媒体 App 2 月 25 日消息,DeepSeek 官宣,今日开源 DeepEP,第一个用于 MoE 模型训练和推理的开源 EP 通信库。特点有:高效、优化的全员沟通;节点内和节点间均支持 NVLink 和 RDMA;用于训练和推理预填充的高吞吐量内核;用于推理解码的低延迟内核;原生 FP8 调度支持;灵活的 GPU 资源控制,实现计算 - 通信重叠。
钛媒体 App 2 月 25 日消息,DeepSeek 官宣,今日开源 DeepEP,第一个用于 MoE 模型训练和推理的开源 EP 通信库。特点有:高效、优化的全员沟通;节点内和节点间均支持 NVLink 和 RDMA;用于训练和推理预填充的高吞吐量内核;用于推理解码的低延迟内核;原生 FP8 调度支持;灵活的 GPU 资源控制,实现计算 - 通信重叠。
登录后才可以发布评论哦
打开小程序可以发布评论哦