8 月 7 日,据 " 凤凰网科技 " 援引 " 金融时报 " 报道,字节跳动正在训练一个参数量最高可达 10 万亿参数的 AI 大模型,目前处于预训练早期阶段。这一规模比国内已发布的最大模型月之暗面 Kimi K3(2.8 万亿参数)还要大三倍多,接近 Anthropic 最先进的 Mythos 系统。业内估计 Mythos 5 约 8 万亿参数。
该模型由 Seed Foundation 负责人项亮主导,与大语言模型预训练数据负责人沈科合作。据 " 晚点 LatePost" 报道,字节近期已在内部讨论训练超 5 万亿参数模型,最终目标可能更高。不过该计划仍处于早期阶段,不保证最终发布。
这一动作的背景是 Seed 团队在语言模型领域的追赶压力。2 月发布的 Seed 2.0 市场反响有限,同期智谱 GLM-5 和月之暗面 Kimi K3 在编程能力上已明显领先。火山引擎目前是国内最大模型 API 卖家,但豆包大模型的 token 消耗中,超过一半来自视频生成模型 Seedance 和图片生成模型 Seedream,语言模型占比不高。二季度以来,Seedance 的增速放缓影响了火山 MaaS 的整体 token 增长:3 月为 120 万亿,6 月为 180 万亿,低于 250 万亿至 300 万亿的原定目标。
负责模型研发的 Seed 团队目前约有 2000 名成员,分布在中国及海外,包括 AI 研究人员、基础设施工程师、数据团队以及翻译团队。
近日,字节跳动创始人张一鸣与 Seed 负责人吴永辉共同召开全员会。张一鸣在会上表示 " 可以接受模型暂时落后于行业 ",希望团队 " 追求智能上限 "。他反对模型蒸馏,认为蒸馏 " 本质上是在复制 Claude 已有的能力,很难真正实现超越 "。他也提醒团队:" 编程只是眼下的热点之一,不应该完全被它牵着走,编程之外还有更多更大的机会。"
字节此前已用 " 大力出奇迹 " 策略在视频生成模型上验证过这条路。Seedance 2.0 今年 2 月上线后,被公认为全球性能最强的视频模型之一。如今,字节想在语言模型上用同样方式赌一次弯道超车。


登录后才可以发布评论哦
打开小程序可以发布评论哦