(全球 TMT2025 年 7 月 21 日讯)浪潮信息宣布元脑企智一体机已率先完成对 Kimi K2 万亿参数大模型的适配支持,并实现单用户 70 tokens/s 的流畅输出速度。Kimi K2 是月之暗面推出的开源万亿参数大模型,创新使用了 MuonClip 优化器进行训练,大幅提升了模型的学习效率。Kimi K2 的模型总参数量达 1 万亿,激活参数为 320 亿。K2 模型 1 万亿的参数量对 AI 计算系统提出至少 1TB 的显存容量需求,384 个路由专家所带来的专家负载不均衡性对推理速度有很大影响。
元脑企智一体机采用元脑服务器 NF5688G7 作为算力底座,其搭载 FP8 计算引擎,配备 1128GB HBM3e 高速显存,单台服务器即可支持 K2 万亿参数全量模型部署,为 Kimi K2 提供了专家间高速并行通信,最大化并行效率。浪潮信息已完成元脑企智一体机对 K2 的适配,支持 64K 上下文长度和多路用户实时并发访问。
登录后才可以发布评论哦
打开小程序可以发布评论哦