日前,阿里云通义千问方面宣布开源 320 亿参数模型 Qwen1.5-32B 系列,包括 Qwen1.5-32B-Base 模型和 Qwen1.5-32B-Chat 模型。
据了解,作为 Qwen1.5 模型系列的最新成员,除了 GQA,Qwen1.5-32B 在模型架构上和 Qwen1.5 系列其他模型并无差异。而 GQA 能让 Qwen1.5-32B 在提供模型服务时具有更高的推理效率潜力,在性能、效率和内存占用之间实现了更理想的平衡。例如相比通义千问 14B 开源模型,其在智能体场景下能力更强,而相比通义千问 72B 开源模型的推理成本则更低。
据阿里云通义千问方面公布的测试结果显示,在基础能力层面,Qwen1.5-32B 在 MMLU、GSM8K、HumanEval 以及 BBH 等多种任务上的表现虽然与 720 亿参数模型相比略有逊色,但优于其他 300 亿参数级别模型(Llama2-34B、Mixtral-8 × 7B)。
在 Chat 模型层面,阿里云通义千问方面遵循 Qwen1.5 的评估方案,还测试了 Qwen1.5-32B-Chat 在 MT-Bench 与 Alpaca-Eval2.0 上的表现。结果显示,Qwen1.5-32B-Chat 模型得分超过 8 分,与 Qwen1.5-72B-Chat 之间的差距相对较小。
在多语言能力层面,阿里云通义千问方面选取了包括阿拉伯语、西班牙语、法语等在内的 12 种语言,在考试、理解、数学及翻译等多个领域做了评测。结果显示,Qwen1.5-32B 具备出色的多语言能力,表现仅略逊于 72B 模型。此外,阿里云通义千问方面还测试了 Qwen1.5-32B-Chat 在长文本评估任务中的表现,结果显示,该模型在长达 32K tokens 的上下文中表现优秀。
对此阿里云方面表示," 我们期望 Qwen1.5-32B 的发布能帮助用户为下游应用找到更优的解决方案,以应对 14B 模型在智能体场景下能力偏弱、72B 模型推理成本过高等问题 "。
值得一提的是,至此阿里云通义千问方面已相继开源包括 5 亿、18 亿、40 亿、70 亿、140 亿、320 亿、720 亿参数规模在内的 7 款大模型,并在海内外开源社区的累计下载量已突破 300 万。
对此阿里云 CTO 周靖人曾指出," 开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为‘ AI 时代最开放的大模型’,与伙伴们共同促进大模型生态建设 "。
【本文图片来自网络】
登录后才可以发布评论哦
打开小程序可以发布评论哦