驱动之家 18小时前
昇腾0Day支持百灵Ling-3.0-flash!全新编程框架亮相
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 8 月 6 日消息,蚂蚁百灵 8 月 5 日开源新一代原生混合推理模型 Ling-3.0-flash,昇腾同步完成 0Day 适配,并首次落地全新算子编程框架 CANN PyPTO。

据了解,该模型总参数 124B,推理时仅激活 5.1B,计算开销仅为上代旗舰 Ring-2.6-1T 的 8.1%。它按 5 比 1 交替堆叠 KDA(增量注意力)与 MLA(多头潜在注意力),支持 256K 上下文窗口,可扩展至 1M。

同时,模型中的 KDA 算子是核心结构,其计算融合矩阵向量运算、递推累积、状态更新等多段逻辑,对核内数据复用与多核并行调度要求很高,传统手写内核开发难以兼顾效率与性能。

为此,昇腾推出的这一全新编程框架 CANN PyPTO,开发者只需通过张量级接口定义计算逻辑,由框架自动完成分片调度、数据搬运与代码生成,无需手写底层代码,大幅降低算子开发门槛。

更值得注意的是,配合昇腾 CANNBot 智能体,算子开发被拆解为 7 个阶段自动推进,各阶段由分工明确的子智能体协同执行,全程无需人工介入交接,大幅缩短复杂融合算子的交付周期。

部署方面,昇腾基于开源推理引擎 vLLM 的昇腾版本完成深度适配,补丁已提交开源平台,支持轻量化补丁部署,可秒级上线,全面兼容 A2、A3 系列产品。

此前,昇腾已完成对百灵 Ling-2.6-flash(104B 参数)的适配。昇腾表示,此次适配再次表明,其已具备支撑前沿大模型从发布到规模化部署的全流程能力。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

编程 开源 轻量化
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论