IT之家 19小时前
国内已知最大规模!消息称字节跳动正讨论训练超5万亿参数模型
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_caijing1.html

 

IT 之家 8 月 6 日消息,晚点 LatePost 今天(6 日)晚间爆料称,字节跳动正在讨论训练一个参数规模超 5 万亿的模型,超过阿里的 Qwen 3.8-Max(2.4 万亿参数)和月之暗面的 K3(2.8 万亿参数),也是目前国内已知参数规模最大的模型。通常而言,模型规模越大,智能水平往往越高,不过该计划仍处于早期阶段。

消息称该模型将由 Seed Foundation 负责人项亮主导,与大语言模型预训练数据负责人沈科合作。二人均是字节跳动 AI 及大模型研发体系内的核心骨干,并出自字节的 " 搜广推 " 体系。

项亮本科毕业于中国科学技术大学,博士就读于中国科学院自动化研究所,2016 年加入字节,曾负责机器学习中台 AML 团队,后调任豆包大模型 Foundation 团队任负责人。沈科 2018 年清华毕业,同年加入字节,现主要负责 LLM 预训练数据。

IT 之家从报道中获悉,多名字节跳动人士透露,上半年多个 Seed 团队已开始不断反思,而这也是字节讨论训练超 5 万亿参数模型的原因之一。其中一人直言,把参数规模一次推到同行的数倍来争取领先位置的举措 " 像一场赌博 "。

两周前的 Seed 全员会上,字节跳动创始人张一鸣安抚了 Seed 的成员。他认为,训大模型本就是一件很难的事,团队不必过度焦虑。他明确一段时间内可接受模型落后于行业,希望大家以追求智能上限为目标,期待 Seed 模型能力能跻身世界第一梯队。

张一鸣认为编程是当前的关键方向,并表态自己反对蒸馏。在其看来,蒸馏能在短期内改善模型表现,但本质上仍是在复制 Claude 已有的能力。沿着这条路走,最多只能不断逼近对方,很难真正实现超越。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

张一鸣 it之家 ai 字节跳动 清华
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论