新浪财经 8小时前
Kimi K3开源,国产算力争相跑通,但仅在推理,未达训练
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

7 月 27 日 23 时许,Kimi K3 完整权重正式开放。随着权重开放,国产 AI 芯片厂商迅速展开一场 3T 级模型适配竞赛。阿里云、华为昇腾、海光等相继宣布完成 K3 适配。

7 月 27 日 23 时许,Kimi K3 完整权重正式开放。

K3 拥有 2.8 万亿总参数、约 1040 亿激活参数,采用 MoE 架构,拥有 896 个路由专家,每个 Token 激活其中 16 个,是目前参数规模最大的开放权重模型之一。

随着权重开放,国产 AI 芯片厂商迅速展开一场 3T 级模型适配竞赛。阿里云、华为昇腾、海光等相继宣布完成 K3 适配。

不过,对于仍处于算力紧张状态的月之暗面而言,这些新增的潜在算力能否真正进入 Kimi 线上生产集群,目前仍没有明确答案。

WAIC2026 Kimi 展台 顾群生 / 摄

此前,K3 上线后因用户请求量大幅超出预估、逼近现有集群承载极限,Kimi 暂停 C 端新用户订阅,并表示正在推进算力扩容。

截至 7 月 28 日,距离暂停新用户会员订阅已过去一周多,会员订阅仍未全面开放。

Kimi 方面向财闻表示,目前 " 还没有恢复会员订阅,只是预约订阅,会根据前一天的情况,开放极少量名额。"

另一边,K3 开源后,国产算力平台正在密集 " 跑通 " 这款 2.8 万亿参数模型。

7 月 27 日深夜,华为昇腾 CANN 宣布,Kimi K3 已经在昇腾 950PR/DT 系列上实现 0Day 推理部署支持,相关部署方案还涉及 Atlas A3 系列。由于 K3 拥有 896 个路由专家,对大规模专家并行能力提出更高要求,也成为国产超节点验证集群能力的新场景。

7 月 28 日,阿里云则宣布真武 M890 超节点实例完成 K3 Day0 适配。据披露,该超节点由 64 张真武 M890 通过高速互联组成,显存规模达到 9TB。

阿里云、平头哥与 Kimi 团队从软件栈、算子等层面进行了联合适配,首 Token 时延降低约 35%。阿里云同时表示,双方将进一步展开国产算力合作。

阿里方面同时向财闻表示,此次完成适配的是推理环节。

同日,海光信息也完成 K3 在 DCU 平台的适配、部署和性能验证。至此,K3 已经成为国产 AI 芯片集中展示超大模型部署能力的一块 " 试金石 "。

与此同时,Fireworks、SiliconFlow、Novita 等平台已上线 K3 托管推理服务,用户可直接通过在线入口或 API 调用;Cursor 也已将 K3 加入可选模型,并由 Fireworks、Together AI、Baseten 等第三方基础设施提供推理支持。

不过,第三方平台部署 K3 与进入 Kimi 线上生产集群并非同一概念。

财闻就月之暗面目前是否已经与华为、阿里开展相关算力合作向 Kimi 方面询问,Kimi 方面未就这一问题回应。

目前,也没有公开信息显示,本轮 Kimi 扩容新增了多少算力、采用何种芯片,以及具体由哪些供应商承接。

K3 技术报告同样没有提到。

报告详细介绍了 3T 级预训练所使用的流水线并行、专家并行、数据并行和上下文并行等基础设施方案,并披露 MoonEP 等集群优化技术,却没有公布预训练主集群使用的芯片型号、云服务商和集群所在地。

对于 2.8 万亿参数的 MoE 模型而言,竞争也已经不只是单颗芯片的算力。数十乃至更多计算芯片共同运行模型,对显存容量、芯片互联、专家并行和推理软件栈都提出更高要求。

盘古智库高级研究员江瀚向财闻表示,多家厂商短时间完成适配,意味着国产算力的竞争正在从单点芯片能力转向软硬件生态协同," 行业协同效率从季度级压入日级 "。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

kimi 阿里云 华为 ai芯片 开源
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论