每经 AI 快讯,8 月 25 日,航锦科技在互动平台表示,公司也关注到近期 deepseek 最新发布模型 v3.1,采用针对下一代国产芯片涉及的 UE8M0 FP8 Scale 参数精度的新闻。目前,公司航锦云在上海管理运营的云服务项目 L20 灯塔集群实践了 FP8 精度的训练和推理,利用 E5M2/E4M3 格式,可将数学吞吐量翻倍,并将带宽压力减少一半。其中,FP8 训练在相同加速平台的峰值性能显著超越 FP16/BF16,且模型参数越大,训练加速效果越好。
每日经济新闻
每经 AI 快讯,8 月 25 日,航锦科技在互动平台表示,公司也关注到近期 deepseek 最新发布模型 v3.1,采用针对下一代国产芯片涉及的 UE8M0 FP8 Scale 参数精度的新闻。目前,公司航锦云在上海管理运营的云服务项目 L20 灯塔集群实践了 FP8 精度的训练和推理,利用 E5M2/E4M3 格式,可将数学吞吐量翻倍,并将带宽压力减少一半。其中,FP8 训练在相同加速平台的峰值性能显著超越 FP16/BF16,且模型参数越大,训练加速效果越好。
每日经济新闻
登录后才可以发布评论哦
打开小程序可以发布评论哦