IT之家 04-24
华为:昇腾超节点系列产品全面支持DeepSeek V4
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 4 月 24 日消息,今天上午,DeepSeek-V4 模型预览版正式上线并同步开源。

华为官方随后宣布,通过双方芯模技术紧密协同,实现昇腾超节点全系列产品支持 DeepSeek V4 系列模型

官方表示,昇腾 950 通过融合 kernel 和多流并行技术降低 Attention 计算和访存开销,大幅提升推理性能,结合多种量化算法,实现了高吞吐、低时延的 DeepSeek V4 模型推理部署。昇腾 A3 超节点系列产品也全面适配,同时为便于用户快速微调,提供了基于昇腾 A3 超节点的训练参考实现

IT 之家获悉,基于 DeepSeek V4-Pro 模型,在 8K 输入场景,昇腾 950 超节点可实现 TPOT 约 20ms 时单卡 Decode 吞吐 4700TPS。DeepSeek V4-Flash 模型,8K 长序列输入场景下可实现 TPOT 约 10ms 时单卡 Decode 吞吐 1600TPS(上述 Benchmark 数据均基于 Offine 推理模式采集,不包含 Serving 调度和框架负载均衡影响)。

基于昇腾 A3 64 卡超节点结合大 EP 模式部署,DeepSeek V4-Flash 模型,8K/1K 输入输出场景,基于 vLLM 推理引擎可实现 2000+TPS 的单卡 Decode 吞吐,单卡吞吐持续提升。官方表示,针对 DeepSeek V4-Pro 模型,昇腾 A3 同步支持推理部署,性能持续优化中。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

华为 it之家 开源
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论