驱动之家 前天
DeepSeek V4被曝下月发布:100M上下文 全面用国产AI芯片训练
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 9 月 29 日消息,今天下午 DeepSeek 突然发布了 DeepSeek v3.2-Exp 大模型,这是前几天发布 DeepSeek v3.1 终结版之后的又一大动作,很符合重大节日前 DeepSeek 发新模型的习惯。

DeepSeek v3.2 的亮点很多,但是大家不必关注于这个模型能力有多好,从她 exp 的后缀就可以看出它本质上是 DeepSeek 探索新技术用的,这方面才有价值。

DeepSeek Sparse Attention(DSA)首次实现了细粒度稀疏注意力机制,在几乎不影响模型输出效果的前提下,实现了长文本训练和推理效率的大幅提升。

DeepSeek v3.2 还是小版本进步,大家最关心的还是 DeepSeek 重大版本升级,也就是传闻了很久的 DeepSeek v4 及 r2,尤其是 v4 这种基座大模型。

推上一个名为 DeepSeek News Commentary 的账号表示 v4 将于 10 月发布,带来 100 万上下文、GRPO 驱动推理及 NSA/SPCT 等技术,数学、编程能力大幅提升,同时速度极快,成本也极低。

这个账号的属地也是杭州,但目前来看并非 DeepSeek 官方账号,消息真实性值得商榷。

不过 10 月份发布 DeepSeek v4 也不是完全没可能,毕竟 DeepSeek v3.2 是技术验证方向的,是在为 DeepSeek v4 重大技术升级探路。

还有一点需要注意,DeepSeek v4 早在四五月份就说要发布,但官方一直不为所动,期间还被传出什么训练失败之类的负面消息,只是这些传闻不足为信,无非是抹黑国产大模型及算力不及美国罢了。

DeepSeek v4 发布应该是需要一个重要契机,那就是与国产算力芯片全面适配,这一点 DeepSeek 官方之前已经明确了,下一代将支持 FP8 算法,与国产芯片全面适配。

现在已经不少国产 AI 芯片宣布支持 FP8 算法了,但是这方面的适配显然需要一个领头羊,那就是华为昇腾,联系一下前几天的大约上华为高调宣布昇腾路线图,明年 Q1 时候的昇腾 950PR 不仅支持 FP4,还支持 FP4,算力达到 1PFLOPS(FP8)/ 2PFLOPS(FP4),支持 FP32/HF32/FP16/BF16/FP8/MXFP8 /HiF8/MXFP4/HiF4 等数据格式,互联带宽为 2TB/s,内存容量和带宽做到了 144GB、4TB/s。

显然昇腾 950PR 上市的时候,DeepSeek V4 才是最佳的登场时刻,此前也早有消息称 DeepSeek 已经使用国产 AI 芯片训练,v3.2 就同时支持 CUDA 和华为的 CANN,v4 自然也不会落下。

后续 DeepSeek v4 肯定还会有其他国产 AI 芯片的适配版的,包括寒武纪、海光等。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai芯片 华为 芯片 美国 效果
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论