快科技 4 月 28 日消息,DeepSeek V4 发布不会是国产大模型的终点,接下来还会有新一轮的发布,月之暗面的下一代大模型 Kimi K3 被曝在 3 季度上市,参数量将达到 2.5 万亿。
对大模型来说,参数量越大,几乎可以认为能力也会越强,Claude Opus 4.7 及 Mythos 之类的模型虽然没公布规模,但马斯克之前暗示 Opus 是 5 万亿参数量的,Mythos 有可能是 10 万亿参数量的,很强但也非常贵。
日前发布的 DeepSeek V4 大模型中,Pro 参数量达到了 1.6 万亿,比 V3.X 的 6700 亿翻倍还多,因此性能大幅提升,综合下来依然是开源最佳。
国产参数量最大的大模型之前有个百度的文心 5.0,参数量达到了 2.4 万亿,不过其存在感较低,而 Kimi K3 则会突破这一规模,达到 2.5 万亿参数量,比当前 Kimi K2.X 版本的万亿参数翻倍还多,也大幅超过了 DeepSeek V4,预计能力会有明显提升。
除了 2.5 万亿参数量,Kimi K3 的上下文长度也会达到 1M 上下,比当前 K2.6 的 256K 上下文也大幅提升了,而且内部测试实际上远超 1M。
但是否对普通用户开放 1M 上下文还不确定,毕竟这直接关系到算力资源,开放之后对 Kimi 的服务能力要求很高,扩算力就等于直接提升了运营成本。
目前真正开放且普惠制 1M 上下文的还得看 DeepSeek V4,这方面的优化可以说做到极致了。



登录后才可以发布评论哦
打开小程序可以发布评论哦