驱动之家 19小时前
DeepSeek V4又有重大变化:支持FP4、为NVIDIA显卡做优化
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 4 月 16 日消息,DeepSeek V4 什么时候发布牵动人心,4 月下旬问世应该是大概率了,现在又被网友发现 DeepSeek 的 Github 仓库有了重大变化,显示出一些有趣的升级。

DeepSeek 的研究人员在官方仓库 DeepGEMM 更新了 110 个文件,里面的信息含量十足。

首先是大量 FP8、FP4 精度支持,其中 FP8 支持是之前就确认过的,但 FP4 放在 2026 年也算是比较新且激进的支持,它的性能更强,对显存的要求理论上比 FP8 还要再低一倍,这也意味着 V4 大模型的规模会很大。

其次就是对 NVIDIA 的 SM100/Blackwell GPU 进行了优化,此前传闻 DeepSeek V4 会首发国产 AI 平台,尤其是华为昇腾,但这不意味着 DeepSeek V4 只支持国产平台,现阶段 NVIDIA 的 AI 平台依然是少不了的。

FP4 及 Blackwell 架构优化是相辅相成的,毕竟 NVIDIA 对 FP4 算法的支持也是目前最稳的之一。

这次仓库更新还显示 DeepSeek V4 会使用新的架构—— Mega MoE 及 HyperConnection,这两个都是适合超大规模参数量的,暗示着 V4 的规模同样不会小,之前猜测是万亿参数量,但是这两个架构优化好了,再加上对最新 AI 硬件及算法的支持,或许可以期待下更高的表现。

目前已知的大模型参数量最高能到 10 万,不过要么在训练中,要么就是 Mythos 这种还不能确定的,再往下的规模是 5 万亿参数量的,Claude Opus 4.6 及传闻但还没发布的 GPT-6 被认为是这一级别的。

国产目前最大有过 2.4 万亿参数量的,但表现平平,没啥存在感,其他稍微高点的就是万亿级别的,Kimi K 2.5 就是万亿规模,DeepSeek V3.X 系列的是 6700 亿级别的,GLM-5.X 则是 7400 多亿参数量的。

因此综合判断一下,DeepSeek V4 在众多新技术的加持下,做到万亿参数是基本盘,如果能突破到 2 万亿参数,那性能应该有很惊艳的地方。

如果一次突破到 5 万亿级别,那说不定 DeepSeek V4 就会像去年的 DeepSeek R1 那样成为全球顶级 SOTA 大模型,只不过这个可能性不大,而且这样做意味着成本也会很高,不太符合 DeepSeek 的风格,要期待也是明年的 DeepSeek V5 了。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

nvidia ai 华为 gpu v5
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论