IT之家 12-12
中国电信完成业界首个国产算力的跨架构大模型推理技术验证
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 12 月 12 日消息,据通信产业网今日报道,中国电信研究院联合中国科学院计算技术研究所、华为昇腾、沐曦等,依托中国电信云网融合技术中试验证平台,成功完成业界首个面向国产算力的跨架构大模型推理技术验证

中国电信研究院牵头启动 "Triton 统一跨架构推理框架 " 技术攻关,通过自研 Triton 跨架构编译器与统一大模型算子库,实现同一套算子源码在英伟达、昇腾、沐曦三类芯片上无缝运行。

本次技术验证已完成 10 余款主流开源模型在三类芯片上的端到端推理测试,核心指标表现优异:

平均迁移时间≤ 3 天,较传统适配模式效率提升超 80%;

精度误差 < 0.5%,确保模型推理可靠性;

在同等延迟约束下,系统吞吐达到各芯片原生算子库的 90% 以上,实现性能与适配效率的双重优化。

此外,框架内置的 benchmark 与 Profiling 工具可一键生成跨芯性能对比报告,为业务方提供选芯决策支撑

IT 之家注:中国电信研究院是中国电信集团下属研发机构,聚焦 6G、光网络、卫星通信等领域核心技术攻关。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

中国电信 it之家 6g 芯片 电信云
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论