目前,蚂蚁集团 Ling 团队的技术成果论文《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展 3000 亿参数混合专家 LING 大模型》已发表在预印版 Arxiv 平台上。
论文显示,蚂蚁集团推出了两款不同规模的 MoE 大语言模型——百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),前者参数规模为 168 亿(激活参数 27.5 亿),Plus 基座模型参数规模高达 2900 亿(激活参数 288 亿),两者性能均达到行业领先水平。
据技术成果论文,虽然 DeepSeek、阿里通义千问、MiniMax 等系列的 MoE 大模型在特定任务中展现出卓越性能,但是 MoE 模型的训练通常依赖高性能计算资源(如英伟达 H100/H800 等先进 GPU),高昂成本制约了在资源受限环境中的普及应用。同时,近年来英伟达高性能芯片持续短缺,相比之下,低性能加速器供应更充足且单机成本更低。这种差异凸显了构建跨异构计算单元与分布式集群无缝切换技术框架的必要性。
因此,Ling 团队设定的目标是 " 不使用高级 GPU" 来扩展模型,并通过提出创新性的训练策略,旨在突破资源与预算限制实现高效大语言模型训练,从而推动 AI 技术向普惠化方向发展。
据技术论文,Ling 团队在五种不同的硬件配置上对 9 万亿个 token 进行 Ling-Plus 的预训练,其中使用高性能硬件配置训练 1 万亿 token 的预训练成本约为 635 万元人民币,但利用蚂蚁的优化方法后,使用低规格硬件的训练成本将降至 508 万元左右,节省了近 20%,最终实现与阿里通义 Qwen2.5-72B-Instruct 和 DeepSeek-V2.5-1210-Chat 相当的性能。
此前,DeepSeek 通过一系列算法创新及工程优化,使用性能较低的英伟达 H800 训练出了性能与顶尖模型相当的 V3 与 R1,为大模型的训练开辟了新的道路,让更多的企业和研究机构看到了降低成本、提高效率的可能性。如果蚂蚁集团的技术成果得到验证及推广,意味着国产大模型能够寻找成本更低、效率更高的国产芯片或其他替代方案,以进一步降低对英伟达芯片的依赖。
蚂蚁集团正加码 AI 医疗产业布局,3 月 21 日,其对外公布了在医疗机构、医生、用户三端最新 AI 产品体系升级。其中,面向医疗机构,蚂蚁联合华为医疗卫生军团、阿里云等推出 " 蚂蚁医疗大模型一体机 " 全栈式解决方案;面向好大夫在线 29 万注册医生,发布 AI 医生助手系列工具;同时,服务用户的健康应用 "AI 健康管家 " 也推出智能思考、健康自测等十余项新功能。
除了 AI 以外,蚂蚁近期在人形机器人领域也动作频频。
今年 2 月,某招聘平台信息显示,蚂蚁集团开放招聘具身智能人形机器人系统和应用等岗位,年薪高达百万元。而早在去年 12 月,蚂蚁集团就注册成立了上海蚂蚁灵波科技有限公司,聚焦具身智能技术和产品研发。
每日经济新闻综合公开信息
免责声明:本文内容与数据仅供参考,不构成投资建议,使用前请核实。据此操作,风险自担。
每日经济新闻
登录后才可以发布评论哦
打开小程序可以发布评论哦