近日,蚂蚁集团 Ling 团队发表了一篇技术成果论文。该技术论文最大的突破在于提出了一系列创新方法,以提升资源受限环境下 AI 开发的效率与可及性。实验表明,其 3000 亿参数的 MoE(混合专家)大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。
3 月 24 日,蚂蚁针对外媒对蚂蚁百灵大模型训练成本的报道回应称,蚂蚁针对不同芯片持续调优,以降低 AI 应用成本,目前取得了一定的进展,也会逐步通过开源分享。
近日,蚂蚁集团 Ling 团队发表了一篇技术成果论文。该技术论文最大的突破在于提出了一系列创新方法,以提升资源受限环境下 AI 开发的效率与可及性。实验表明,其 3000 亿参数的 MoE(混合专家)大模型可在使用国产 GPU 的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及 MoE 模型相当。
3 月 24 日,蚂蚁针对外媒对蚂蚁百灵大模型训练成本的报道回应称,蚂蚁针对不同芯片持续调优,以降低 AI 应用成本,目前取得了一定的进展,也会逐步通过开源分享。
登录后才可以发布评论哦
打开小程序可以发布评论哦