IT之家 13小时前
寒武纪拥抱众智 FlagOS 生态,打破不同架构芯片间的软件生态壁垒
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 11 月 12 日消息,寒武纪今日宣布拥抱众智 FlagOS 生态。寒武纪表示,单一芯片架构难以满足多元化的业务需求,大模型应用厂商为部署不同类型业务往往需要引入多种不同架构 AI 芯片,造成跨芯片架构间业务代码迁移与维护工作往往耗时数月,成为业务迁移流程主要瓶颈。

据介绍,北京智源人工智能研究院联手社区伙伴启动了众智 FlagOS 项目,目的通过统一软件层解耦 AI 模型与异构硬件,打破不同架构芯片之间的软件生态壁垒,为芯片硬件与上层 AI 应用之间搭建统一且高效衔接的桥梁,系统性解决 " 适配难、调优慢、协同弱 " 行业难题,实现 " 一次开发,处处运行 "。

寒武纪和智源研究院从 2024 年初起就开始进行 FlagGems(基于 Triton 的高性能通用 AI 算子库)的联合开发工作,后续进一步拓展到 FlagTree(统一多后端的增强版 Triton 编译器)、FlagCX(统一通信库)、FlagScale(并行训推一体框架)等组件。

寒武纪与 FlagOS 的适配与优化主要集中在算子、编译器、分布式通信库和并行框架组件等方面

IT 之家查询获悉,FlagOS 是由北京智源人工智能研究院牵头研发的面向多种 AI 芯片的开源系统软件栈,支持超 20 种国内外主流 AI 芯片型号。该系统融合并行训推框架 FlagScale、高性能算子库 FlagAttention 和 FlagGems、统一通信库 FlagCX 等技术组件,平均性能超过芯片厂商原生算子。

今年 9 月,众智 FlagOS 1.5 发布,支持超过 12 家国内外主流芯片厂商的 20 余种芯片型号,降低硬件适配的复杂性;改进并行策略与调度算法,在典型大模型任务中实现最高 36.8% 训练加速与 20% 推理加速;全面支持机器人 " 大脑 "(如智源 RoboBrain)与 " 小脑 "(如 VLA)模型的开发与部署等。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

芯片 寒武纪 ai 人工智能 it之家
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论