近日,NVIDIA 宣布其 NIM(NVIDIA Inference Microservices)技术现已支持 DeepSeek-R1。NIM 是一种云原生微服务技术,旨在简化生成式 AI 模型在云端、数据中心及 GPU 加速工作站上的部署流程。
NVIDIA 官网发布文章指出,DeepSeek-R1 是目前最先进的推理开放模型。该模型通过对查询进行多次推理处理,采用连锁思维、共识和搜寻方法来生成最佳答案。为了帮助开发者安全地试验这些功能,并构建自己的专门代理,DeepSeek-R1 模型现已作为 NVIDIA NIM 微服务预览版上线使用。
在性能测试方面,根据外媒的测试,RTX 5090 在 DeepSeek R 上的推理性能显著优于 AMD 的 RX 7900 XTX,性能至少翻了一倍。测试结果显示,在多个 DeepSeek R1 型号中,RTX 5090 不仅明显领先于 RX 7900 XTX,也比 RTX 4090 快了不少。
具体来说,在 Distill Qwen 7b 和 Distill Llama 8b 模型中,RTX 5090 每秒可运行 200 个 Tokens,几乎是 RX 7900 XTX 的两倍。这一数据进一步证实了 RTX 5090 在推理性能上的显著优势。
登录后才可以发布评论哦
打开小程序可以发布评论哦