太平洋电脑网 昨天
消息称字节跳动正在训练10万亿参数超大模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_caijing1.html

 

【太平洋科技快讯】据凤凰网科技报道,英国《金融时报》援引三位行业知情人士消息称,字节跳动正在推进一款超大规模大模型的预训练工作,参数规模上限可达 10 万亿,综合体量对标 Anthropic 旗下顶级 Mythos 系列模型,国内 AI 企业正在缩小与美国头部实验室的技术差距。

知情人士透露,该超大模型当前仅处于预训练初期,完整预训练周期预计 3 至 6 个月,流程走完后才会进入微调环节,能否正式对外发布、最终定型参数体量均存在不确定性。

10 万亿参数的预估规模,是国内现已推出的最大模型 —— 月之暗面 Kimi K3 的三倍以上。 行业测算数据显示,Anthropic 未对外披露旗下模型精确参数量,业内普遍判断其旗舰 Mythos 5 约 8 万亿参数、Fable 5 约 5 万亿参数。文章同时提及,参数量仅决定模型基础信息存储上限,实际推理、创作表现还受训练数据质量、训练框架、优化方案等多重条件制约,不能单一依靠参数评判模型实力。

字节启动 10 万亿级超大模型训练,直观体现国内 AI 厂商不再局限于追赶海外竞品,尝试在前沿通用大模型赛道实现技术赶超。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

字节跳动 ai 美国 kimi 金融时报
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论