中关村在线 02-03
RTX 5090跑DeepSeek性能测试 超7900 XTX一倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

近日,NVIDIA 宣布其 NIM(NVIDIA Inference Microservices)技术现已支持 DeepSeek-R1。NIM 是一种云原生微服务技术,旨在简化生成式 AI 模型在云端、数据中心及 GPU 加速工作站上的部署流程。

NVIDIA 官网发布文章指出,DeepSeek-R1 是目前最先进的推理开放模型。该模型通过对查询进行多次推理处理,采用连锁思维、共识和搜寻方法来生成最佳答案。为了帮助开发者安全地试验这些功能,并构建自己的专门代理,DeepSeek-R1 模型现已作为 NVIDIA NIM 微服务预览版上线使用。

在性能测试方面,根据外媒的测试,RTX 5090 在 DeepSeek R 上的推理性能显著优于 AMD 的 RX 7900 XTX,性能至少翻了一倍。测试结果显示,在多个 DeepSeek R1 型号中,RTX 5090 不仅明显领先于 RX 7900 XTX,也比 RTX 4090 快了不少。

具体来说,在 Distill Qwen 7b 和 Distill Llama 8b 模型中,RTX 5090 每秒可运行 200 个 Tokens,几乎是 RX 7900 XTX 的两倍。这一数据进一步证实了 RTX 5090 在推理性能上的显著优势。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

nvidia amd 微服务 云原生 gpu
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论