36 氪获悉,中信建投研报表示,零一万物正式对外发布新旗舰模型—— Yi-Lightning。Yi-Lightning 的训练过程中,采用 MoE 混合专家模型架构,同时改进了单阶段训练,使用了多阶段的训练模式,并且采用了混合注意力机制。在保持模型性能接近最优的同时,尽可能减少激活参数的数量以降低训推成本,提高推理速度。在大模型竞技场上,Yi-Lightning 性能直冲总榜单并列第 6,数学分榜并列第 3,代码等其它分榜也名列前茅。
36 氪获悉,中信建投研报表示,零一万物正式对外发布新旗舰模型—— Yi-Lightning。Yi-Lightning 的训练过程中,采用 MoE 混合专家模型架构,同时改进了单阶段训练,使用了多阶段的训练模式,并且采用了混合注意力机制。在保持模型性能接近最优的同时,尽可能减少激活参数的数量以降低训推成本,提高推理速度。在大模型竞技场上,Yi-Lightning 性能直冲总榜单并列第 6,数学分榜并列第 3,代码等其它分榜也名列前茅。
ZAKER旗下Web3.0元宇宙平台
ZAKER旗下AI智能创作平台
登录后才可以发布评论哦
打开小程序可以发布评论哦