日前,月之暗面正式发布新一代 MoE 架构基础模型 Kimi K2,并同步开源。据了解,Kimi K2 总参数达 1T、激活参数为 32B,同时也是月之暗面发布、并开源的首个万亿参数模型。
据悉,目前月之暗面方面已开源 Kimi K2 系列中的两个模型版本,包括 Kimi-K2-Base、Kimi-K2-Instruct。其中,Kimi-K2-Base 是未经过指令微调的基础预训练模型,适合科研与自定义场景,Kimi-K2-Instruct 是通用指令微调版本(非思考模型),在大多数问答与 Agent 任务中表现卓越。
根据月之暗面方面公布的相关信息显示,Kimi K2 在自主编程(Agentic Coding)、工具调用(Tool Use)和数学推理(Math & Reasoning)三项能力维度的基准性能测试中取得优秀表现。例如在 SWE Bench Verified、Tau2、AceBench 等基准性能测试中,Kimi K2 均取得了开源模型中的 SOTA 成绩。
除了基准性能测试,Kimi K2 还宣称在多个实际场景中也展现出更强的能力泛化和实用性。以前端开发任务为例,Kimi K2 擅长生成兼具设计感与视觉表现力的代码,支持粒子系统、可视化和 3D 场景等表现形式,具备较强的图形能力与交互性。
值得一提的是,Kimi K2 的预训练阶段使用 MuonClip 优化器实现了万亿参数模型的稳定高效训练,从而在人类高质量数据成为瓶颈的背景下,有效提高 Token 利用效率,找到新的 Scalin 空间。
目前用户访问月之暗面旗下智能助手 Kimi 官网或下载 App,即可体验全新 Kimi K2 模型。同时 Kimi K2 API 服务也已同步上线,其支持最长 128K 上下文,具备更强的通用性与工具调用能力,价格为每百万输入 tokens 4 元,每百万输出 tokens 为 16 元。
面向未来,月之暗面指出,Kimi K2 是构建通用 Agent 能力的坚实基础,但通用 Agent 还需要更高级的能力,比如思考和视觉理解。为此,未来其将为 Kimi K2 加入这些能力," 我们希望通过全面开源性能更强的模型,进一步加速 AGI 研究与应用落地的整体进程 "。
【本文图片来自网络】
登录后才可以发布评论哦
打开小程序可以发布评论哦