微博财经-财道工作室 2小时前
腾讯混元将训练更大模型腾讯称下一代Hy模型规模将显著扩大
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

来源:@第一财经日报微博

腾讯混元将训练更大模型腾讯称下一代 Hy 模型规模将显著扩大

【# 腾讯混元将训练更大模型 ## 腾讯称下一代 Hy 模型规模将显著扩大 #】11 月 21 日凌晨在技术社区 Reddit 上,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员进行了持续 120 分钟的问答(AMA,Ask Me Anything),回答了关于混元研发方向和思路的提问。模型的参数量问题受到关注,尤其是字节、Kimi 都在向上万亿参数推进,为何混元仍在 7000 亿左右?针对总参数量 770B(B 为 10 亿参数)的 Hy4 和参数量 224B 的 Hy4 flash,混元团队称,相比偏重编程,新模型更多面向通用用途。Hy4 还有很大提升空间,尤其是在后训练方面,团队正在大规模强化学习上投入大量精力。此外,混元团队称,正在计划训练参数规模更大的模型,相信 Scaling Law(缩放定律)并将继续投入,下一代 Hy 模型的规模将进一步显著扩大。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

腾讯 ai kimi 混元大模型 reddit
相关文章
打开 ZAKER 参与讨论