未来图灵 5小时前
字节跳动被曝训练10万亿参数模型!或成为中国规模最大的 AI 模型之一
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

8 月 7 日,据 " 凤凰网科技 " 援引 " 金融时报 " 报道,字节跳动正在训练一个参数量最高可达 10 万亿参数的 AI 大模型,目前处于预训练早期阶段。这一规模比国内已发布的最大模型月之暗面 Kimi K3(2.8 万亿参数)还要大三倍多,接近 Anthropic 最先进的 Mythos 系统。业内估计 Mythos 5 约 8 万亿参数。

该模型由 Seed Foundation 负责人项亮主导,与大语言模型预训练数据负责人沈科合作。据 " 晚点 LatePost" 报道,字节近期已在内部讨论训练超 5 万亿参数模型,最终目标可能更高。不过该计划仍处于早期阶段,不保证最终发布。

这一动作的背景是 Seed 团队在语言模型领域的追赶压力。2 月发布的 Seed 2.0 市场反响有限,同期智谱 GLM-5 和月之暗面 Kimi K3 在编程能力上已明显领先。火山引擎目前是国内最大模型 API 卖家,但豆包大模型的 token 消耗中,超过一半来自视频生成模型 Seedance 和图片生成模型 Seedream,语言模型占比不高。二季度以来,Seedance 的增速放缓影响了火山 MaaS 的整体 token 增长:3 月为 120 万亿,6 月为 180 万亿,低于 250 万亿至 300 万亿的原定目标。

负责模型研发的 Seed 团队目前约有 2000 名成员,分布在中国及海外,包括 AI 研究人员、基础设施工程师、数据团队以及翻译团队。

近日,字节跳动创始人张一鸣与 Seed 负责人吴永辉共同召开全员会。张一鸣在会上表示 " 可以接受模型暂时落后于行业 ",希望团队 " 追求智能上限 "。他反对模型蒸馏,认为蒸馏 " 本质上是在复制 Claude 已有的能力,很难真正实现超越 "。他也提醒团队:" 编程只是眼下的热点之一,不应该完全被它牵着走,编程之外还有更多更大的机会。"

字节此前已用 " 大力出奇迹 " 策略在视频生成模型上验证过这条路。Seedance 2.0 今年 2 月上线后,被公认为全球性能最强的视频模型之一。如今,字节想在语言模型上用同样方式赌一次弯道超车。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai kimi 张一鸣 字节跳动 编程
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论