三易生活 04-08
通义千问开源旗下第7款大模型,具备320亿参数
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

日前,阿里云通义千问方面宣布开源 320 亿参数模型 Qwen1.5-32B 系列,包括 Qwen1.5-32B-Base 模型和 Qwen1.5-32B-Chat 模型。

据了解,作为 Qwen1.5 模型系列的最新成员,除了 GQA,Qwen1.5-32B 在模型架构上和 Qwen1.5 系列其他模型并无差异。而 GQA 能让 Qwen1.5-32B 在提供模型服务时具有更高的推理效率潜力,在性能、效率和内存占用之间实现了更理想的平衡。例如相比通义千问 14B 开源模型,其在智能体场景下能力更强,而相比通义千问 72B 开源模型的推理成本则更低。

据阿里云通义千问方面公布的测试结果显示,在基础能力层面,Qwen1.5-32B 在 MMLU、GSM8K、HumanEval 以及 BBH 等多种任务上的表现虽然与 720 亿参数模型相比略有逊色,但优于其他 300 亿参数级别模型(Llama2-34B、Mixtral-8 × 7B)。

在 Chat 模型层面,阿里云通义千问方面遵循 Qwen1.5 的评估方案,还测试了 Qwen1.5-32B-Chat 在 MT-Bench 与 Alpaca-Eval2.0 上的表现。结果显示,Qwen1.5-32B-Chat 模型得分超过 8 分,与 Qwen1.5-72B-Chat 之间的差距相对较小。

在多语言能力层面,阿里云通义千问方面选取了包括阿拉伯语、西班牙语、法语等在内的 12 种语言,在考试、理解、数学及翻译等多个领域做了评测。结果显示,Qwen1.5-32B 具备出色的多语言能力,表现仅略逊于 72B 模型。此外,阿里云通义千问方面还测试了 Qwen1.5-32B-Chat 在长文本评估任务中的表现,结果显示,该模型在长达 32K tokens 的上下文中表现优秀。

对此阿里云方面表示," 我们期望 Qwen1.5-32B 的发布能帮助用户为下游应用找到更优的解决方案,以应对 14B 模型在智能体场景下能力偏弱、72B 模型推理成本过高等问题 "。

值得一提的是,至此阿里云通义千问方面已相继开源包括 5 亿、18 亿、40 亿、70 亿、140 亿、320 亿、720 亿参数规模在内的 7 款大模型,并在海内外开源社区的累计下载量已突破 300 万。

对此阿里云 CTO 周靖人曾指出," 开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为‘ AI 时代最开放的大模型’,与伙伴们共同促进大模型生态建设 "。

【本文图片来自网络】

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

智慧云

智慧云

ZAKER旗下新媒体协同创作平台

相关标签

阿里云 通义千问 开源 考试
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论