外媒:字节跳动训练 10 万亿参数超大模型 堪比 Anthropic 最先进系统
凤凰网科技讯 北京时间 8 月 7 日,据英国《金融时报》报道,字节跳动正在训练一个 AI 模型,其规模可能接近 Anthropic 最先进的 Mythos 系统。目前,中国公司正继续缩小与美国顶尖实验室的差距。
据三名知情人士透露,字节跳动正在训练一个超大模型,参数量最高可达 10 万亿个,目前正处于早期阶段,这比迄今为止中国已发布的最大模型、月之暗面的 Kimi K3 还要大三倍多。
知情人士称,字节跳动的这一模型目前正在进行预训练,这一阶段通常需要三到六个月时间,之后如果一切顺利,将进入微调阶段并最终发布。该模型的确切规模要到后期阶段才能确定。
Anthropic 并未公开其模型规模,但业内估计其最先进的 Mythos 5 拥有约 8 万亿个参数,Fable 5 约为 5 万亿个参数。虽然参数数量决定了模型存储信息的基础能力或记忆上限,但其实际能力还取决于数据质量和训练方法等其他因素。
字节跳动训练全球最大 AI 模型之一的努力表明,中国 AI 公司的雄心不仅是追赶美国同行,而且希望在最先进的 AI 领域超越它们。
此前,《晚点 LatePost》报道称,字节跳动正在讨论训练一个参数规模超 5 万亿的模型,它超过阿里的 Qwen 3.8-Max ( 2.4 万亿参数 ) 和月之暗面的 K3 ( 2.8 万亿参数 ) ,也是目前国内已知参数规模最大的模型。不过该计划仍处于早期阶段,并不代表模型最终一定会发布。 ( 作者 / 箫雨 )
(来源:金融界)


登录后才可以发布评论哦
打开小程序可以发布评论哦