手机中国 昨天
字节跳动被曝训练10万亿大参数模型 规模超Anthropic
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

【CNMO 科技消息】8 月 7 日,据英国 " 金融时报 " 报道,字节跳动正在训练一款新的超大规模 AI 模型,其参数量最高可能达到 10 万亿级。如果最终达到这一规模,该模型将明显超过目前已公开或被外界披露的多数大语言模型,并可能接近 Anthropic 最先进模型 Mythos。

字节跳动

据三名知情人士透露,这款模型目前仍处于早期阶段,正在进行预训练。预训练通常需要 3 至 6 个月,之后还将进入微调等环节,因此最终版本的具体参数规模目前尚未确定。

Claude Fable 5

作为对比,Anthropic 尚未公开模型的具体参数,但业内估计,其先进的 Mythos 5 可能拥有约 8 万亿参数,Fable 5 约为 5 万亿参数。若字节跳动最终推出接近 10 万亿参数的模型,其规模将进入当前全球超大模型的第一梯队。

需要注意的是,参数量虽然决定了模型能够容纳的信息规模和部分能力上限,但并不能直接等同于模型实际表现。训练数据质量、训练方法、推理效率以及算力投入,同样会影响最终效果。

此前," 晚点 LatePost" 曾报道称,字节跳动内部正在讨论训练一款参数规模超过 5 万亿的模型。作为参照,阿里 Qwen 3.8-Max 参数量约为 2.4 万亿,月之暗面的 Kimi K3 约为 2.8 万亿。若此次 10 万亿参数计划最终落地,意味着国内大模型在模型规模上的竞争还将进一步升级。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

字节跳动 ai 效果 kimi 金融时报
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论