IT 时代网 11 月 10 日消息，韩国 AI 推理优化公司 Nota AI 宣布，对月之暗面 2.8 万亿参数的 KIMI K3.1 Pro 模型完成优化，改用相对更便宜的 B200 GPU 运行，GPU 采购成本最多可降低约 20%，云环境下的 GPU 租赁费用最多可降低约 22%。

KIMI K3.1 Pro 是当前公开可下载权重模型中总参数量最大的一款，参数规模越大，运行所需的内存与 GPU 资源越多。Nota AI 通过「剪枝」技术选择性移除模型中负责特定任务的专家模块，最多减少 37% 的模块数量，在保持核心推理性能的同时降低内存占用——模型在高水平科学推理基准 GPQA Diamond 上仍取得原版 99% 以上的得分。

内存的节省还被用于运行一个辅助回答生成的「草稿模型」：草稿模型提前提议后续内容，主模型通过投机解码一次性完成验证，在 8 张 B200 GPU 上也能更快生成回答。模块减少 30% 的版本可处理 51.2 万 token 上下文，减少 37% 的版本可处理 100 万 token。

此前 Nota AI 曾把运行 KIMI K3 所需的 B300 GPU 从 8 张压缩到最多 4 张，这次则进一步降低了后续机型所需的 GPU 规格等级。该公司 CEO 表示，将把技术从模型轻量化扩展到推理执行与服务优化，帮助企业以合理成本用好现有 AI 基础设施。

编辑：林一舟