北京商报 8小时前
Kimi发布K3模型权重、技术报告
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_caijing1.html

 

北京商报讯(记者 魏蔚)7 月 27 日深夜,月之暗面(Kimi 运营方,以下简称 "Kimi")将 K3 模型权重、技术报告和关键 Infra (基础设施)技术同步开放。

Kimi K3 是 Kimi 能力最强的模型,是一个拥有 2.8 万亿参数的混合专家(MoE)模型,具备原生视觉理解能力,并支持 100 万 token 的上下文窗口。Kimi K3 参数规模是 Kimi K2.5 的 3 倍左右,凭借 Kimi Delta Attention(混合线性注意力机制)、Attention Residuals(注意力残差)以及 MoonEP(月之暗面专家并行通信库)等一系列技术创新,Kimi K3 规模化效率提升了 2.5 倍(即在算力最优意义下,单位算力产出智能约等于原来 2.5 倍)。

Kimi 称," 现在,每个人都可以下载并部署 Kimi K3 模型——无论是用于内部研发,还是嵌入到面向终端用户的产品中,均可自由使用 ",并重申," 我们坚信开放权重模型的价值。它们能降低获取智能的门槛,推动创新,并赋予用户对数据更大的控制权、隐私保护和所有权 "。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

kimi 技术创新 基础设施 北京
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论