雷锋网 1小时前
阿里云真武超节点Day0适配Kimi K3大模型,双方展开国产算力合作
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

7 月 28 日,阿里云真武 M890 超节点实例已 Day0 适配 Kimi K3,这是国内首个跑通近 3 万亿参数模型的超节点。双方将进一步展开国产算力合作,千问 AI 平台和阿里云百炼也将提供 Kimi K3 的模型 API。

Kimi   K3 是目前业界参数规模最大的模型之一,跑通这一规模的模型需要将参数分散到几十张甚至上百张高速互联的 GPU 卡,让万亿参数 " 跑得又稳又快 "。然而,普通 AI 集群因通信带宽的局限,无法满足高吞吐、低延迟、高并发的需求。

阿里云真武超节点实例通过 ICN Switch 高速互联芯片,让 64 张平头哥真武 M890 实现 800GB/s 的全互联,其显存规模达到 9TB,可突破万亿参数模型运行的算力、显存和网络带宽的瓶颈,单实例即可支撑大规模万亿级参数 MoE 模型的专家并行需求。

为提升 Kimi   K3 的运行效率,阿里云、平头哥与 Kimi 团队从软件栈、算子等层面进行了深度联合适配。例如,真武 M890 对 Kimi K3 模型架构的核心算子进行优化,显著提升推理的算力和带宽利用率,可稳定支持最 1M 长上下文,从容应对长文档理解、复杂推理等场景。测试显示,适配后模型的首 Token 时延降低约 35%,单卡解码吞吐提升 1.8 倍。

目前,国内外主流模型已进入超 2 万亿参数规模的时代,阿里云真武超节点不仅跑通 Kimi K3,还实现了模型的高效运行,意味着国产算力已具备支撑超大参数模型大规模应用的能力。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

阿里云 kimi ai 平头哥 芯片
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论