全球TMT 昨天
元脑企智一体机已率先完成对Kimi K2万亿参数大模型的适配支持
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

(全球 TMT2025 年 7 月 21 日讯)浪潮信息宣布元脑企智一体机已率先完成对 Kimi K2 万亿参数大模型的适配支持,并实现单用户 70 tokens/s 的流畅输出速度。Kimi K2 是月之暗面推出的开源万亿参数大模型,创新使用了 MuonClip 优化器进行训练,大幅提升了模型的学习效率。Kimi K2 的模型总参数量达 1 万亿,激活参数为 320 亿。K2 模型 1 万亿的参数量对 AI 计算系统提出至少 1TB 的显存容量需求,384 个路由专家所带来的专家负载不均衡性对推理速度有很大影响。

元脑企智一体机采用元脑服务器 NF5688G7 作为算力底座,其搭载 FP8 计算引擎,配备 1128GB HBM3e 高速显存,单台服务器即可支持 K2 万亿参数全量模型部署,为 Kimi K2 提供了专家间高速并行通信,最大化并行效率。浪潮信息已完成元脑企智一体机对 K2 的适配,支持 64K 上下文长度和多路用户实时并发访问。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

kimi 一体机 浪潮 ai 开源
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论