驱动之家 04-30
小米开源首个推理大模型Xiaomi MiMo:7B参数就超越OpenAI o1-mini
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 4 月 30 日消息,小米官方今天正式宣布,开源首个为推理(Reasoning)而生的大模型—— Xiaomi MiMo。

据介绍,Xiaomi MiMo 在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo 仅用 7B 的参数规模,超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。

官方表示,MiMo 推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动。包括:

预训练:核心是让模型见过更多推理模式

数据:着重挖掘富推理语料,并合成约 200B tokens 推理数据。

训练:进行了三阶段训练,逐步提升训练难度,总训练 25T tokens。

后训练:核心是高效稳定的强化学习算法和框架

算法:提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re-Sampling 策略,以稳定   RL   训练。

框架:设计了 Seamless Rollout 系统,使得 RL 训练加速 2.29 倍,验证加速 1.96 倍。

所有技术细节已经 Open,见技术报告。

MiMo-7B 全系列已开源 MiMo-7B 已开源 4 个模型至 HuggingFace。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

小米 开源 竞赛 数学 v5
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论