雷锋网 5小时前
蚂蚁百灵发布轻量级推理模型 Ring-mini-2.0,将逐步全面开源
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

近日,据百灵大模型公众号,蚂蚁百灵团队发布并开源了 Ring-mini-2.0 推理模型。它是基于此前蚂蚁百灵发布的基础语言模型 Ling 2.0 架构,深度优化的高性能推理型 MoE 模型。它在总参数量 16B、仅激活 1.4B 参数的情况下,即可达到 10B 级别以下 dense 模型的综合推理能力,尤其在逻辑推理、代码与数学任务中表现卓越,并支持 128K 长上下文及 300+ token/s 的高速生成。

经过 Long-COT SFT、更稳定持续的 RLVR 以及 RLHF 联合优化,Ring-mini-2.0 复杂推理的稳定性与泛化性得到显著提升。在多项高难度基准(LiveCodeBench、AIME 2025、GPQA、ARC-AGI-v1 等)中,在输出长度相当的情况下,Ring-mini-2.0 性能显著超越 10B 以下 dense 模型,甚至媲美更大参数量的 MoE 模型(如 gpt-oss-20B-medium),在逻辑推理方面尤为突出。

(Ring-mini-2.0 性能表现)

据了解,Ring-mini-2.0 继承了 Ling 2.0 系列的高效 MoE 设计,仅激活 1.4B 参数,通过 1/32 专家激活比、MTP 层等架构优化,达到约 7 – 8B dense 模型的等效性能。得益于小激活、高稀疏度的设计,Ring-mini-2.0 在 H20 部署下实现 300+ token/s 的吞吐,结合 Expert Dual Streaming 推理优化后可进一步提升至 500+ token/s,大幅降低高并发场景下 Thinking 模型的推理成本。同时,借助 YaRN 外推可支持 128K 长上下文,长输出场景下相对加速比最高可达 7 倍以上。

蚂蚁百灵团队表示将完整开放 Ring-mini-2.0 的模型权重、训练数据和 RLVR+RLHF 训练策略。凭借 " 小而优 " 的特点,Ring-mini-2.0 有望成为小尺寸推理模型的首选,为学术和工业界提供理想的研究与应用起点。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

开源 数学
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论