智东西 06-27
腾讯开源推理模型!13B参数比肩OpenAI o1,1张GPU就能跑
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

智东西

作者 | 王涵

编辑 | 漠影

智东西 6 月 27 日报道,今日,腾讯混元宣布开源首个混合推理 MoE 模型 Hunyuan-A13B,总参数 80B,激活参数仅 13B,是混元首个开源推理模型,腾讯将其称为 " 业界首个 13B 级别的 MoE 开源混合推理模型 "。

腾讯混元 Github 页面(图源:Github)

Hunyuan-A13B 模型是腾讯内部应用和调用量最大的大语言模型之一,有超过 400+ 业务用于精调或者直接调用,日均请求超 1.3 亿。与其之前开源的混元 large 相比,Hunyuan-A13B 参数更小,但是性能和效果都有一定提升。

在官方发布的基准测试上,Hunyuan-A13B 模型在数学、推理、Agent 调用等能力上超越 Qwen3-A22B、DeepSeek-R1-0120 以及 OpenAI-o1-1217,甚至在长文本上能和 Gemini 2.5 pro" 掰手腕 "。

在用户端进入 Hunyuan-A13B 模型主页后,可以选择开启 " 快思考 " 模式," 快思考 " 模式提供简洁、高效的输出,适合追求速度和最小计算开销的简单任务,如不点击按钮,则默认为 " 慢思考 " 模式,可以输出更深、更全面的推理步骤,如反思和回溯等。

此外,在开发者方面,Hunyuan-A13B 模型对个人开发者较为友好,在严格条件下,开发者只需要 1 张中低端 GPU 卡即可部署。目前,Hunyuan-A13B 已经融入开源主流推理框架生态,无损支持多种量化格式,在相同输入输出规模上,整体吞吐是前沿开源模型的 2 倍以上。

即日起,模型已经在 Github 和 Hugging Face 等开源社区上线,同时模型 API 也在腾讯云官网正式上线,支持快速接入部署。

体验入口:

https://hunyuan.tencent.com/

API 地址:

https://cloud.tencent.com/product/tclm

Github :https://github.com/Tencent-Hunyuan

HuggingFace:https://huggingface.co/tencent

一、激活参数 13B,性能直追 OpenAI o1

测试结果显示,Hunyuan-A13B 在数学能力、推理能力以及 Agent 调用能力上表现较佳,在多个基准测试榜单中超越 Qwen3-A22B、DeepSeek-R1-0120 以及 OpenAI-o1-1217。

Hunyuan-Large 基准测试数据(图源:腾讯混元)

在长文方面,Hunyuan-A13B 支持 256K 原生上下文窗口,在 PenguinScrolls 和 LongBench-v2 长文数据集中超越 DeepSeek R1 和 Qwen3-A22B,仅次于第一名 Gemini 2.5 pro。

二、20T tokens 预训练 +MoE 架构优化:腾讯混元 A13B 大模型核心技术突破

预训练环节,Hunyuan-A13B 训练了 20T tokens 的语料,覆盖了多个领域。此外,在模型架构上,腾讯混元团队构建了适用于 MoE 架构的 Scaling Law 联合公式,可以进一步提升模型预训练的效果。

在后训练环节,Hunyuan-A13B 采用了多阶段的训练方式,同时兼顾了模型创作、理解、Agent 等通用能力。

Hunyuan-A13B 后训练四个步骤(图源:腾讯混元)

对于时下热门的大模型 Agent 能力,腾讯混元建设了一套多 Agent 数据合成框架,接入了 MCP、沙箱、大语言模型模拟等多种环境,通过强化学习让 Agent 在多种环境里进行自主探索与学习,进一步提升了 Hunyuan-A13B 的效果。

此外,腾讯混元还开源了两个新的数据集。其中,ArtifactsBench 构建了一个包含 1825 个任务的新基准,涵盖了从网页开发、数据可视化到交互式游戏等九大领域,并按难度分级以全面评估模型的能力。

C3-Bench 则针对 Agent 场景模型面临的三个关键挑战:规划复杂的工具关系、处理关键的隐藏信息以及动态路径决策,设计了 1024 条测试数据,以发现模型能力的不足。

结语:腾讯混元构建开源 AI 生态

腾讯混元旗下图像、视频、3D、文本等多种模态基础模型已全面开源。未来,混元还计划推出多尺寸混合推理模型,从 0.5B 到 32B 的 dense 模型,以及激活 13B 的 MoE 模型,以适配企业与端侧不同需求,混元图像、视频、3D 等多模态基础模型及配套插件模型也将持续开源。

值得注意的是,此次腾讯混元在开源 Hunyuan-A13B 模型的同时,还配套开源了 ArtifactsBench 和 C3-Bench 两大专业评测数据集,这一举措展现了科技大厂参与行业标准制定的积极姿态,体现了腾讯混元推动大模型技术生态共建的责任。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

腾讯 开源 gpu 数学
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论