本元技域观 11-06
Kimi K3.1 Pro 权重真放出来了,2.8万亿参数追平闭源,可多给算力就露馅,开源模型还差半步。
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_font3.html

 

Kimi K3.1 Pro 权重真放出来了,2.8 万亿参数追平闭源,可多给算力就露馅,开源模型还差半步。

P-Zero Research 把同样的活儿交给 Kimi K3.1 Pro 和 Claude Opus 5.0,预算给到 15 个 H100 小时的时候,Kimi 的算力乘数还有 1.06,跟 Opus 5.0 几乎贴着跑。等到预算加到 40 个 H100 小时,Kimi 掉到 0.78,Opus 5.0 涨到 1.3。分数没崩,是 " 多喂的算力没变成更好的结果 "。

11 月 4 日下午,月之暗面把 Kimi K3.1 Pro 的完整权重传上了 Hugging Face,仓库名 moonshotai/Kimi-K3.1-Pro,不用填表、不用申请,点开就能下。96 个 safetensors 分片,仓库总体积 1.56 TB,单个分片最大 17 GB。Hugging Face 联合创始人 Thomas Wolf 当天整理了一份要点:2.8 万亿总参数,每个 token 激活 1040 亿;896 个专家,每次选 16 个,再加 2 个共享专家;93 层网络里,69 层是 Kimi Delta Attention(线性注意力),剩下 24 层插的是 DeepSeek 式门控稀疏注意力,每个 token 只挑最相关的 2048 个 token 算,靠这个把 100 万 token 上下文撑住。

权重不是 BF16。按 BF16 存,这套参数本来要 5.6 TB;这次放出来的是量化感知训练过的 MXFP4 权重,配 MXFP8 激活,所以体积压到 1.56 TB。能下,不代表能跑。8 张 H200 显存加起来才 1.13 TB,装不下;官方给的基线是 8 卡张量并行,用两个 GB300 托盘,或者一台 8 卡 B300 节点。vLLM 要 0.34.0 以上,SGLang、TokenSpeed 也给了部署入口。消费级显卡别想了,有网友自嘲:2.3 万美元的 Mac Studio 跑起来大概每秒 0.1 个 token。

架构上真正值钱的一刀,是 " 注意力开始挑重点 "。K3 那 24 层全注意力用 Gated MLA,K3.1 Pro 给它加了 DSA 索引器:32 个轻量索引头先给历史 token 打分,选出 2048 个位置,完整注意力只在这 2048 个位置上算。vLLM 首日的实测里,单层解码要读的数据降到稠密 MLA 的约 23%。34 万 token 输入的首 token 等待,从 15.89 秒缩到 9.42 秒;配 DSpark 推测解码,8 卡 GB300 上能拿到约 3 倍解码加速。百万 token 上下文不是噱头,是带宽账算得过来才跑得动。

成绩单也挺能打。Agent Arena 用 1.75 万次真实长时程会话测,K3.1 Pro Max 排开放权重第一、总榜第 13,Work / Code / Chat 三类都是开放模型第一。Terminal-Bench 4.0 拿 65.7%,GPT-6 Astra 58.2%,Claude Opus 5.5 66.4%,差不到 1 个点。单任务平均花 4.57 美元,Opus 5.5 要 13.20 美元。内部基准上,Kimi Code Bench 3.0 长程从 55.95% 提到 61.2%;金融研究从 58.8 涨到 70.4;Kimi Hallu Bench Hard 开启工具后事实错误率从 23.4% 降到 8.3%。

许可证才是藏在 " 开源 " 两个字后面的真条款。它不是一个干净 MIT,是改过的 Kimi K3.1-Pro License:个人和中小公司能免费用、改、再分发;但你拿它卖模型 API、过去 12 个月集团营收超 2000 万美元,得先跟月之暗面另签协议;做出来的产品月活过 1 亿,或月收入超 2000 万美元,界面上必须醒目标 "Kimi K3.1-Pro"。内部自用、走官方 Kimi 产品、走认证推理服务商,不受这两条限制。换句话说,模型权重送你,品牌和头部收益不送。

回到那条算力曲线。固定预算榜单里,K3.1 Pro 几乎追平闭源旗舰;智能体任务越长、给的算力越多,差距就显出来。Teortaxes 的说法是:新一代前沿模型更会利用测试时算力,这条曲线比单次分数更能说明差距。开源模型在追终点线上的分数,闭源模型在比谁的曲线更陡——同样多给一倍算力,谁能转成更多正确步骤、更少重试、更稳的工具调用。

权重包里也没把家底全交出来。这次放的是标准版完整推理权重,不含 Highspeed 高速版;给了模型配置、分词器、视觉编码器 MoonViT-V2(4.01 亿参数),没给训练代码和训练数据。可审计、可微调、可自己部署,不等于 " 从零复现 "。

华为昇腾那边同日给了 0Day 适配,vLLM Ascend 和 SGLang 能跑在 Atlas 800 A3、Atlas 900 A3 SuperPod 上,用 QLI 量化索引器和 QSFA 稀疏注意力算子压长上下文开销,DCP 把 KV 缓存按 token 分片到多卡,支撑 1M 序列。英伟达路线走 8 卡 GB300,AMD 走 8 卡 MI355X,TPU 和平头哥 PPU 也有入口。

下载那 1.56 TB 之前得先想清楚:百兆宽带满速下完要 35 个小时上下,千兆也得近 3 个半小时,硬盘先腾 1.6 TB,合并分片还要再占一份空间。跑起来之前,机器账单比模型能力先到。

分数打平的那一刻很爽,算力乘数的折线一画出来,谁在吃算力、谁在把算力变成智能,一眼看清。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关文章
打开 ZAKER 参与讨论