驱动之家 06-30
百度开源文心大模型4.5系列模型 中国算力平台率先上线
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 6 月 30 日消息,百度今天正式开源文心大模型 4.5 系列模型。与此同时,中国算力平台模创空间率先上线文心大模型。

中国算力平台是在工信部指导下,中国信息通信研究院建设的平台,汇聚 " 多源 + 多元 " 模型服务。

通过服务网关能力,实现模型及 AI 应用的在线调用服务。模型方可以将自有模型通过 API 方式发布到模型市场,开发者可以在线调用模型进行开发创作。

作为前沿人工智能成果,文心 4.5 创新运用多模态混合专家模型预训练技术,以异构混合专家结构结合了多维旋转位置编码,并且在损失函数计算时,增强了不同专家间的正交性,提升文本生成、图像理解以及多模态推理等任务效能。

为支持高效训练提出异构混合并行和多层级负载均衡策略,在推理方面提出多专家并行协同量化方法和卷积编码量化算法,从而实现高效训练推理框架。

对预训练模型进行了针对模态的精调,大语言模型针对通用语言理解和生成进行了优化,多模态大模型侧重于视觉语言理解,支持思考和非思考模式,满足实际场景不同需求。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

百度 ai 人工智能 开源 工信部
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论