新浪财经 18小时前
曝字节拟训练超5万亿参数大模型 参数规模超Kimi K3
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_caijing1.html

 

来源:新浪科技

新浪科技讯 8 月 6 日晚间消息,据《晚点 LatePost》报道,字节跳动正在讨论训练一个参数规模超 5 万亿的模型,它超过阿里的 Qwen 3.8-Max(2.4 万亿参数)和月之暗面的 K3(2.8 万亿参数),也是目前国内已知参数规模最大的模型。该计划仍处于早期阶段,模型最终不一定会发布。

报道称,新模型将由 Seed Foundation 负责人项亮主导,与大语言模型预训练数据负责人沈科合作。为此,Seed 正在重新梳理组织,划分职责,分配资源。

项亮与沈科均是字节跳动人工智能及大模型研发体系内的核心骨干,均出自字节的 " 搜广推 " 体系。项亮本科毕业于中国科学技术大学,博士就读于中科院自动化所,2016 年加入字节,曾负责机器学习中台 AML 团队,后调任豆包大模型 Foundation 团队任负责人。沈科 2018 年清华毕业后,加入字节跳动,现主要负责 LLM 预训练数据。

针对字节讨论训练超 5 万亿参数模型的原因,报道援引接近 Seed 人士消息称,Seed 团队认为,与其在现有尺寸上继续追赶其他大模型,不如把参数规模一次推到同行的数倍,争取领先位置。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

科技讯 字节跳动 中科院自动化所 机器学习 清华
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论