来源:@第一财经日报微博
腾讯混元将训练更大模型腾讯称下一代 Hy 模型规模将显著扩大
【# 腾讯混元将训练更大模型 ## 腾讯称下一代 Hy 模型规模将显著扩大 #】11 月 21 日凌晨在技术社区 Reddit 上,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和团队成员进行了持续 120 分钟的问答(AMA,Ask Me Anything),回答了关于混元研发方向和思路的提问。模型的参数量问题受到关注,尤其是字节、Kimi 都在向上万亿参数推进,为何混元仍在 7000 亿左右?针对总参数量 770B(B 为 10 亿参数)的 Hy4 和参数量 224B 的 Hy4 flash,混元团队称,相比偏重编程,新模型更多面向通用用途。Hy4 还有很大提升空间,尤其是在后训练方面,团队正在大规模强化学习上投入大量精力。此外,混元团队称,正在计划训练参数规模更大的模型,相信 Scaling Law(缩放定律)并将继续投入,下一代 Hy 模型的规模将进一步显著扩大。

