（来源：ASI 启示录 新智元）

新智元报道  

就在刚刚，全球首个 3 万亿参数级开源模型 Kimi K3 正式开源！

https://huggingface.co/moonshotai/Kimi-K3

https://github.com/MoonshotAI/Kimi-K3/tree/main

https://modelscope.cn/organization/moonshotai

Moonshot AI 宣布，发布 Kimi K3 的模型权重、技术报告，并开源支撑 Kimi K3 模型训练的关键 Infra 技术：MoonEP、FlashKDA 和 AgentEnv。

K3 不仅是一个参数量高达 2.8T 的原生多模态 MoE 巨兽，更是全球首个在长逻辑链编程、超长上下文智能体协作、复杂推理上，能够与目前最强闭源模型（Fable 5 和 GPT-5.6 Sol）掰手腕的开源模型！

这一里程碑式的工作，不仅展示了中国 AI 团队在研发上的雄厚实力，更为开源社区带来了真正意义上的前沿级智能。

K3 开放权重，开启 3 万亿参数级开源 AI 时代

2026 年 7 月 27 日，Moonshot AI 兑现承诺，Kimi K3 的完整模型权重正式面向全球开源社区发布。

这标志着，开源大模型正式进入 2.8 万亿参数的新纪元，Kimi K3 也成为全球首个真正落地的 3 万亿参数级别开源模型。

此次发布的不仅是模型权重，还包括相关技术细节和报告。

Moonshot 表示，他们已与多家推理合作伙伴及开源维护者紧密协作，确保 K3 能在主流硬件和框架中可靠运行。

这意味着——开发者可以下载完整权重进行本地部署或二次开发；研究机构能基于 K3 探索超大规模 MoE、新型注意力机制等前沿课题；企业可构建专属的超长上下文知识系统和智能 Agent 集群。

开源社区将迎来新一轮的应用浪潮！

参数规模：把天花板又抬高一截

过去一年，Kimi 系列几乎每个季度都在刷新开源模型的参数与能力的天花板。

K3 的 2.8T 参数，不仅是目前已知最大的开源模型之一，更是第一个真正跨入「3T 俱乐部」的存在。

相比前代 K2，K3 在架构上实现了显著突破：

KDA 混合线性注意力机制，专为超长序列设计；

Attention Residuals，提升深层模型的训练稳定性；

MoE 大幅优化：896 个专家，仅激活 16 个，结合 Stable LatentMoE 框架，在保持巨量参数的同时极大提高了计算效率。

官方数据显示，这些创新让 K3 的整体扩展效率较 K2 提升约 2.5 倍，真正做到了「规模」与「可用性」的平衡。

与 Kimi K2.5 的主要区别在于，Kimi K3 的视觉编码器 MoonViT-V2 完全从零开始训练，仅依赖后续 token 预测，可直接依据语言建模目标调整编码器的表征。

在整个训练过程中，MoonViT-V2 保持稳定。

值得指出的是，MoonViT-V2 在视觉评估中的表现与 SigLIP 初始化的基线模型相当。

它支持 100 万 token 超长上下文，并原生具备多模态能力。

总之，K3 是架构创新与场景适配的综合进化。

官方技术博客强调：「前沿智能属于所有人」。Kimi K3 的开源，正是这一理念的最新实践。

根据 Moonshot 官方及第三方评测，Kimi K3 在编程、代码 Agent、前端开发、长上下文推理等场景中表现突出。

它的整体智能水平进入全球第一梯队，仅次于少数闭源顶尖模型，在开源阵营中处于领先地位。

Kimi K3 技术报告解读

这次和开源消息一起放出的，是一份 47 页的技术报告。

以下是技术报告的核心内容。

2.8 万亿参数的开源「六边形战士」

Kimi K3 告诉我们：开源模型同样可以做到极致的 Scaling 与 Reasoning。

Kimi K3 的核心底座数据堪称豪华：

惊人的体量：  总参数量高达   2.88 万亿，每个 Token 激活参数量为   1040 亿。

百万级上下文：  原生支持高达   100 万 Token   的超长上下文窗口。

原生多模态：  视觉与文本从预训练第一天起就交织在一起，没有任何后期的「缝合」对齐阶段。

推理期思考缩放（Test-Time Scaling）：  支持从 Low、High 到 Max 多种 Thinking Effort 级别，在复杂任务上会像人类一样「三思而后行」。

架构三大革新：扩展效率提升 2.5 倍

训练一个 3 万亿参数级别的模型，绝非简单地堆叠 GPU。

Kimi K3 相比上一代 Kimi K2，在整体扩展效率上实现了约 2.5 倍的飞跃。

这归功于其极其优雅且暴力的架构设计。

1. 混合注意力机制：KDA + Gated MLA

传统的 Softmax 注意力机制在处理百万级上下文时，KV Cache 的内存占用会瞬间撑爆显存。Kimi K3 独创性地采用了 混合架构——

每一个 Block 包含 3 层 Kimi Delta Attention ( KDA ) 和 1 层 Gated MLA。  

KDA（线性注意力）：  负责高效的长序列混合，将冗长的上下文压缩成固定大小的循环状态，彻底打破了上下文长度的内存诅咒。

Gated MLA（全局注意力）：  周期性地保留极致的全局信息检索能力。

这种「3:1」的搭配，既保住了长文本的命，又留住了找细节的魂。

2. 注意力残差（Attention Residuals）

在极深的网络中，信息往往会在层层传递中损耗。Kimi K3 引入了 Attention Residuals，允许当前层「跨级」直接读取之前所有层的特征表示。这就像是给模型装上了直达电梯，信息流转不再拥堵。

3. 稳如泰山的超稀疏 MoE ( Stable LatentMoE )

Kimi K3 的路由专家数量暴增至 896 个，每个 Token 激活 16 个专家。为了在极度稀疏（极少部分参数被激活）的情况下保持训练稳定，Kimi 团队祭出了两大杀器。

SiTU-GLU 激活函数完美解决了传统 SwiGLU 在极端规模下容易导致激活值爆炸的问题。

Quantile Balancing（分位数负载均衡）  摒弃了传统的辅助损失函数，采用动态调整偏差的方式，让 896 个专家「不闲着也不累坏」，实现了近乎完美的负载均衡。

百万 Token 的 Agent 进化论：K3 是如何炼成的？

大模型的强大不仅在于预训练，更在于「后训练 /RL」。Kimi K3 的强化学习完全是为  「100 万 Token 超长视距的智能体」量身定制的。

1. 极度复杂的白盒沙盒训练 ( AgentENV )

Kimi K3 的训练环境不再是简单的问答，而是真实的模拟器。月之暗面开发了基于微型虚拟机（microVM）的沙盒   AgentENV。

在这个环境里，Kimi K3 会历经成百上千个步骤：写代码、截图、查 Bug、自我修正。它甚至在模拟的 Slack、Notion、Gmail 环境中扮演人类员工，处理跨越「虚拟数天」的超长待机任务。

2. 知识图谱引导的任务合成

为了让模型见多识广，研发团队构建了一个自我进化的知识图谱，让爬虫智能体在全网自动抓取、合成涵盖从天体物理到前端开发的各种高难度验证任务，以此来「折磨」K3。

3. 多层思考的蒸馏 ( MOPD )

Kimi K3 交叉训练了通用、智能体、代码三大领域的专家模型，并在低、高、极限三个「思考努力」级别上进行强化学习。

最后，通过多教师在策略蒸馏（Multi-Teacher On-Policy Distillation），将这些强大的能力浓缩到了一个统一的模型中。

算力与基础设施的极限压榨

2.8T 参数、1M 上下文，这不仅是对算法的考验，更是对系统工程的史诗级挑战。

Kimi Infra 团队交出了一份惊艳的答卷。

MoonEP（零浪费的专家并行）：在 MoE 训练中，算力不均是常态。MoonEP 通过极其精妙的在线整数线性规划和「零拷贝」通信，实现了完全动态且绝对平衡的算力分配。

KDA 融合 Prefix Cache：针对混合架构，团队重写了底层推理引擎，让 KDA 的循环状态与 MLA 的 KV Cache 能够在一个内存池中完美共享与复用。这意味着，处理包含数十万字相同前缀的请求时，K3 的响应速度将有指数级的提升。

实测表现：逼近甚至超越人类极客

在报告展示的全面评测中，Kimi K3 在各项公开与内部基准测试中，全面超越了 Claude Opus 4.8、GLM-5.2 和 GPT-5.5，并逼近目前最强的 Claude Fable 5 和 GPT-5.6 Sol。

Kimi K3 在真实极客任务中的表现，非常惊人。

找出 Linux 内核的 Zero-Day 漏洞（网络安全测试）

在极度硬核的网络安全评估中，Kimi K3 不仅能通过已知漏洞编写 Exploit（漏洞利用程序），竟然还在最新的 Linux 内核代码中，独立发现了多个未知的零日漏洞（Zero-Day）！

包括一个远程触发的堆越界写入和一个本地提权漏洞，这些发现已得到人类安全专家的验证。

爆改 GPU 编译器

Kimi K3 独立开发了一个名为 MiniTriton 的 GPU 编译器，包含完整的代码生成管线，并在极高难度的大核算子（如 KDA、DSA）优化中，将运行时间缩短了 70% 以上，逼近硬件的理论极限。

48 小时内设计出一颗芯片（Nano-KPU）

作为一个早期概念验证，K3 被关在沙盒里 48 小时，完全自主地使用开源 EDA 工具，从零开始设计、优化并验证了一颗基于 45nm 工艺的 AI 推理芯片，最终成功通过了时序闭合！

替代科研人员打工

为了复现天体物理学中的某个普遍关系，K3 自主阅读了 20 多篇论文，编写了超过 3000 行 Python 代码搭建完整数值管道，找出了已发表论文公式中的矛盾点，并生成了可交互的数据面板。人类需要一到两周的工作，K3 在两个小时内完成了。

极致的性价比

性能比肩最强闭源模型，那推理成本呢？

得益于量化感知训练（MXFP4 权重 /MXFP8 激活）、投机解码（Draft Model）以及系统底层的疯狂优化，Kimi K3 的性价比极其恐怖。

在第三方平台 Artificial Analysis 的统计中，Kimi K3 在保持第一梯队性能的同时，在 BrowseComp 基准上单次任务的成本仅为 GPT-5.6 Sol 的一半，甚至比 Claude Fable   5 便宜了近乎一个数量级！

硅谷集体发声：支持开源！

最近，近 200 家硅谷创始人联合表态，反对美国政府切断美国企业获取开源大模型的渠道。

就在本周末，老黄在 X 上发出了人生第一推，25 家企业联合署名表示：开源为什么重要。

这 25 家名单里，有英伟达、微软、Meta、IBM、a16z、YC 等等，几乎囊括了硅谷的半壁江山。

毫无疑问，就在这个风口浪尖，K3 的全面开源，更是意义重大。

在今日的 Arena.ai 榜单上，Kimi K3 仍是全球第一

开源之光，点亮前沿智能

国产开源路线，也是面对闭源巨头的一次弯道超车的机会。

可以预计，随着 K3 权重的全面开放，大量社区优化版本、本地部署方案和垂直应用会蓬勃而出。

曾经 Llama 的开源，让 Meta 一举打破了闭源巨头垄断，彻底点燃了全球开源 AI 社区的热情，催生了无数衍生模型和应用。

如今，以 K3 为代表的中国开源 AI 的崛起，或许将彻底改变全球大模型的游戏规则。

据传，Kimi 团队周五一家酒吧举行庆功活动。现场大屏写着「K3，扩容升级」「K4，给我狠狠干到极致」「冲上月球」。爆料还称，团队包下多个卡座，月之暗面联合创始人、总裁疑似现身

而就在 Kimi K3 开放权重几小时前，Kimi K 3.1 传出将于下月发布。

「虽然在整体表现上，Kimi K3 仍略微落后于最强大的闭源模型，但它已经稳稳确立了开源领域的全新边界。」

Kimi K3 的横空出世，打破了「只有闭源巨头才能玩转百万级 Agent 和慢思考」的偏见。

当代码、权重和技术细节毫无保留地开放，属于开源 AI 的星辰大海，才刚刚开始。

参考资料：

https://huggingface.co/moonshotai/Kimi-K3

编辑：Aeneas 大卫