DoNews 18小时前
消息称张一鸣反对通过蒸馏手段来提升字节 AI 模型能力
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

DoNews8 月 6 日消息,据两位字节员工向『The Information』爆料,在上个月的 Seed 团队全员大会上,张一鸣罕见表态:字节跳动不会把蒸馏当作提升 AI 模型能力的捷径,即便这意味着公司眼下落后于国内竞争对手。

报道称,张一鸣此前很少在 Seed 团队的会议上发言。在其他负责人谈及公司为何不会用蒸馏来抢占先机后,他打破了沉默。

张一鸣表示,字节跳动 " 应该愿意为更长期的目标牺牲一些短期收益 ",但他没有详细说明这些长期目标是什么。

据字节员工称,字节跳动不愿使用蒸馏,被视为其大语言模型落后于国内其他 AI 实验室的原因之一。

字节跳动的特殊之处还在于,它是国内主要 AI 公司中唯一一家大语言模型几乎全部为专有模型的企业,而其同行则专注于开源模型。

据字节跳动员工称,Seed 团队内部关于是否应转向蒸馏的争论由来已久。

今年,国内竞争对手的开源模型快速进步,给字节跳动带来了更大压力。据员工称,每当中国有强大的新开源模型发布,字节跳动内部关于蒸馏的争论就会升温。

蒸馏可以节省大量训练时间和算力开销,因为开发中的新模型可以直接学习现有前沿模型的推理步骤,而不必只依赖原始和精选的训练数据。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 张一鸣 字节跳动 开源 the
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论