星途科讯 5小时前
戴尔新服务器实测:单台支持74个并发AI智能体
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

独立测试机构 Principled Technologies 发布最新报告,评估了戴尔专为 enterprise AI 设计的 PowerEdge XE7740 服务器在代理型 AI(Agentic AI)工作负载下的性能表现。测试基于 Intel Xeon 6747P 处理器与 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 平台,重点考察了 4、6 及 8 GPU 三种配置在金融服务和制造业真实场景中的处理能力。

高性能配置实测数据

测试结果显示,GPU 数量直接决定了服务器可支持的并发智能体规模。在设定 30 秒服务等级协议(SLA)的金融服务工作负载中,配备 8 颗 GPU 的 PowerEdge XE7740 能够支持多达 74 个并发 AI 智能体,并持续保持每秒 1,179 个 token 的处理速度。

在设定 90 秒 SLA 的制造业工作负载下,8 GPU 配置支持 15 个并发智能体,其吞吐量超过 4 GPU 配置的两倍。这表明随着工作负载复杂度的提升,增加 GPU 算力能显著改善系统吞吐能力。

代理型 AI 对基础设施的新要求

报告指出,代理型 AI 正在重塑企业 AI 基础设施需求。与传统聊天机器人单次推理调用不同,单个智能体任务可能衍生数百次调用,导致 GPU 和 CPU 负载同时激增。测试期间,CPU 利用率波动范围广泛,在任务分配和智能体编排阶段峰值高达 99%,凸显了高性能 CPU 在代理型 AI 部署中的关键作用。

此外,成本效益分析显示,相较于 Amazon Bedrock 等云服务,采用 PowerEdge XE7740 进行本地部署在每百万 token 成本($/Mtok)上更具优势。

为确保测试的真实性,Principled Technologies 开发了定制基准测试工具,端到端运行真实的 AI 智能体工作流。该基准模拟了金融服务和制造业的八个特定场景,旨在反映不同行业和规模企业的实际使用情况。

【星途科讯 图文丨周鑫雨 首发于 ZAKER 科技,转载请注明出处】

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai gpu 制造业 戴尔 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论