6 月 30 日，百度方面宣布开源文心大模型 4.5 系列模型，并实现预训练权重和推理代码的完全开源。据了解，文心 4.5 系列开源模型共 10 款，涵盖激活参数规模分别为 47B 和 3B 的混合专家（MoE）模型（最大的模型总参数量为 424B），以及 0.3B 的稠密参数模型。

对于开源文心大模型 4.5 系列模型，此前百度 CEO 李彦宏就曾表示，这一决策源自于百度对自身技术领先地位的坚定信心，并且相信开源将进一步促进文心大模型的广泛应用，以及在更多场景中扩大其影响力。同时他也指出，" 但我想强调的是，无论开源闭源，基础模型只有在大规模解决现实问题时，才具备真实价值 "。

据百度方面介绍，文心 4.5 系列开源模型针对 MoE 架构提出了一种创新性的多模态异构模型结构，通过跨模态参数共享机制实现模态间知识融合，同时为各单一模态保留专用参数空间。该架构适用于从大语言模型向多模态模型的持续预训练范式，在保持甚至提升文本任务性能的基础上，显著增强了多模态理解能力，其优越的性能主要得益于多模态混合专家模型预训练、高效训练推理框架和针对模态的后训练等关键技术点。

同时，文心 4.5 系列开源模型均使用飞桨深度学习框架进行高效训练、推理和部署，在大语言模型的预训练中，模型 FLOPs 利用率（MFU）达到 47%。实验结果显示，该系列模型在多个文本和多模态基准测试中达到 SOTA 水平，尤其在指令遵循、世界知识记忆、视觉理解和多模态推理任务上效果突出。

目前，文心 4.5 系列开源模型已在飞桨星河社区、HuggingFace 等平台可供下载部署，同时开源模型 API（应用程序编程接口）服务也可在百度智能云千帆大模型平台使用。据了解，文心 4.5 系列开源模型权重按照 Apache 2.0 协议开源，支持开展学术研究和产业应用。

值得一提的是，基于多年飞桨开源技术与生态系统积累，此次百度方面还同步升级发布文心大模型开发套件 ERNIEKit 和大模型高效部署套件 FastDeploy，为文心 4.5 模型及开发者提供开箱即用的工具和全流程支持。

【本文图片来自网络】