【CNMO 科技消息】近日，@月之暗面 Kimi 发布 Kimi K3 的模型权重、技术报告，并开源支撑 Kimi K3 模型训练的关键 Infra 技术：MoonEP、FlashKDA 和 AgentEnv。

Kimi

据 CNMO 科技了解，Kimi K3 是月之暗面能力最强的模型：这是一个拥有 2.8 万亿参数的混合专家（MoE）模型，具备原生视觉理解能力，并支持 100 万 token 的上下文窗口。

现在，每个人都可以下载并部署 Kimi K3 模型——无论是用于内部研发，还是嵌入到面向终端用户的产品中，均可自由使用。

与 Kimi K3 模型权重一起公开的，还有模型训练方法—— Kimi K3 技术报告已同步上线。

从技术报告中，用户可以了解这些技术细节：

KDA+AttnRes：以 3:1 比例混合 KDA 与 Gated MLA，实现高效长上下文建模，并通过块级注意力残差增强跨层信息流动。

Stable LatentMoE：每个 token 从 896 个路由专家中激活 16 个，并通过 SiTU-GLU 与 Quantile Balancing 保持极高稀疏度下的训练稳定。

MoonViT-V2：视觉编码器从零开始使用 next-token prediction 训练，无需对比预训练，在达到 SigLIP 初始化基线效果的同时获得更稳定的优化过程。

后训练与评估：在通用推理、通用 Agent 和编程 Agent 三大领域进行大规模任务合成，百万 token 上下文的强化学习基建，近 20 个内部评测集的完整评估结果。

版权所有，未经许可不得转载