2025 年 2 月 24 日——由 360 与北京大学联合研发的中等量级推理模型 Tiny-R1-32B-Preview 正式亮相,仅以 5% 参数,逼近 Deepseek-R1-671B 的性能。
核心突破:小模型,大能量
▪ 数学领域:以 78.1 分(AIME 2024 评测)逼近原版 R1 模型(79.8 分),远超 Deepseek-R1-Distill-Llama-70B(70.0 分);
▪ 综合性能:在编程(LiveCodeBench 61.6 分)、科学(GPQA-Diamond 65.0 分)领域全面领先最佳开源 70B 模型 Deepseek-R1-Distill-Llama-70B;
▪ 效率跃迁:仅需 5% 参数量,性能达原版 R1 的 95% 以上,推理成本大幅降低。
技术革新:领域专精 + 模型融合
研究团队使用「分治 - 融合」策略:
▪ 基于 DeepSeek-R1 生成海量领域数据,分别训练数学、编程、科学三大垂直模型;
▪ 通过 Arcee 团队 Mergekit 工具智能融合,突破单一模型性能上限,实现多任务均衡优化。
开源承诺:推动技术普惠
▪ 模型仓库:https://huggingface.co/qihoo360/TinyR1-32B-Preview
▪ 即将公开完整技术报告、训练代码及部分数据集;
▪ 践行开源精神,助力 AI 社区共筑高效推理新生态。
研发团队表示:「Tiny-R1-32B-Preview 是蒸馏技术的里程碑,未来将持续探索更轻量、更强大的通用模型,推动 AI 技术普惠化进程。」
360 团队 : Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang
北大团队 : Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang
登录后才可以发布评论哦
打开小程序可以发布评论哦