【CNMO 科技消息】11 月 4 日，月之暗面正式公布 Kimi K3.1 Pro 的完整模型权重。11 月 5 日，华为中国宣布，昇腾基于 vLLM Ascend 与 SGLang 完成 0Day 推理适配，支持昇腾 Atlas 800 A3、Atlas 900 A3 SuperPod 超节点以及昇腾 950 超节点系列产品部署该模型。围绕 Kimi K3.1 Pro 新增的稀疏注意力、百万级上下文与推理服务需求，昇腾在算子与框架层面做了协同优化，让用户在模型发布首日就能开展部署与应用验证。

华为 Logo

Kimi K3.1 Pro 是 K3.1 系列的首个模型，拥有 2.8 万亿参数，原生支持视觉理解，上下文窗口达到 100 万 token，并在 K3 基础上扩大了后训练规模，能力提升集中在代码开发、3D 创作、金融研究、事实准确性与长程智能体任务。它在计算架构上采用混合线性注意力，把 KDA 线性注意力层与 DSA 稀疏注意力层组合使用——要真正吃下这套架构的算力优势，算子执行、缓存管理与跨卡通信必须一起调，这也是适配工作的难点所在。

昇腾推理团队此前已有 Kimi K3 的适配积累，这次提前做了模型分析，在既有 KDA 与 MoE 支持的基础上，补上了 K3.1 Pro 新增的稀疏注意力路径与多模态推理。落到算子层面有几处具体改动：QLI 量化索引器负责从历史 token 中筛选候选，昇腾把因果边界判断下沉到索引算子，直接确定当前查询可访问的历史范围，减少框架侧的辅助操作，并让多个 DSA 层共用的元数据按组生成、跨层复用；QSFA 量化稀疏注意力按模型实际使用的注意力头数与输入布局优化，减少填充、拆分与拼接，对没有有效候选的查询直接跳过计算；注意力预处理则接入 MLAPO 融合算子，把投影、归一化与量化合并执行，有效 KV 直接写入分页缓存，省掉独立算子启动与二次写入。

月之暗面 Kimi

长上下文的显存问题是另一道坎。随着序列变长，历史缓存占用持续上升，昇腾通过解码上下文并行（DCP）把主注意力的 KV 缓存与索引器的 K 缓存按 token 分片存到多张卡上，各卡先基于本地 K 缓存筛选候选，再交换信息确定全局 Top-K，无需为筛选汇集完整历史缓存，从而支撑 1M 超长序列部署。框架侧，前缀缓存、分块预填充、PD 分离与内存池化等能力继续可用，并叠加 MRV2、异步调度与 DSpark 投机推理。量化部署上，Attention 线性层与 MoE 共享专家采用 W8A8（MXFP）动态量化、MoE 路由专家采用 W4A8（MXFP）动态量化，配合动态 C8 注意力缓存量化，进一步压低存储与显存开销。相关部署指导已在 vLLM Ascend 与 SGLang 文档中公开。