快科技 9 月 29 日消息,今天下午 DeepSeek 突然发布了 DeepSeek v3.2-Exp 大模型,这是前几天发布 DeepSeek v3.1 终结版之后的又一大动作,很符合重大节日前 DeepSeek 发新模型的习惯。
DeepSeek v3.2 的亮点很多,但是大家不必关注于这个模型能力有多好,从她 exp 的后缀就可以看出它本质上是 DeepSeek 探索新技术用的,这方面才有价值。
DeepSeek Sparse Attention(DSA)首次实现了细粒度稀疏注意力机制,在几乎不影响模型输出效果的前提下,实现了长文本训练和推理效率的大幅提升。
DeepSeek v3.2 还是小版本进步,大家最关心的还是 DeepSeek 重大版本升级,也就是传闻了很久的 DeepSeek v4 及 r2,尤其是 v4 这种基座大模型。
推上一个名为 DeepSeek News Commentary 的账号表示 v4 将于 10 月发布,带来 100 万上下文、GRPO 驱动推理及 NSA/SPCT 等技术,数学、编程能力大幅提升,同时速度极快,成本也极低。
这个账号的属地也是杭州,但目前来看并非 DeepSeek 官方账号,消息真实性值得商榷。
不过 10 月份发布 DeepSeek v4 也不是完全没可能,毕竟 DeepSeek v3.2 是技术验证方向的,是在为 DeepSeek v4 重大技术升级探路。
还有一点需要注意,DeepSeek v4 早在四五月份就说要发布,但官方一直不为所动,期间还被传出什么训练失败之类的负面消息,只是这些传闻不足为信,无非是抹黑国产大模型及算力不及美国罢了。
DeepSeek v4 发布应该是需要一个重要契机,那就是与国产算力芯片全面适配,这一点 DeepSeek 官方之前已经明确了,下一代将支持 FP8 算法,与国产芯片全面适配。
现在已经不少国产 AI 芯片宣布支持 FP8 算法了,但是这方面的适配显然需要一个领头羊,那就是华为昇腾,联系一下前几天的大约上华为高调宣布昇腾路线图,明年 Q1 时候的昇腾 950PR 不仅支持 FP4,还支持 FP4,算力达到 1PFLOPS(FP8)/ 2PFLOPS(FP4),支持 FP32/HF32/FP16/BF16/FP8/MXFP8 /HiF8/MXFP4/HiF4 等数据格式,互联带宽为 2TB/s,内存容量和带宽做到了 144GB、4TB/s。
显然昇腾 950PR 上市的时候,DeepSeek V4 才是最佳的登场时刻,此前也早有消息称 DeepSeek 已经使用国产 AI 芯片训练,v3.2 就同时支持 CUDA 和华为的 CANN,v4 自然也不会落下。
后续 DeepSeek v4 肯定还会有其他国产 AI 芯片的适配版的,包括寒武纪、海光等。
登录后才可以发布评论哦
打开小程序可以发布评论哦