全天候科技 昨天
GPU被CPU拖慢?Arm祭出新评测方法论
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

Agent 的应用场景正在变得越来越细分。

从 Claude Code 等 AI 编程工具,到能够处理文档、操作软件的办公助手,再到帮助用户规划行程、管理日程的个人助理,Agent 开始承担越来越多具体任务。

应用场景的不断拓展,也对底层算力提出了新的要求。

在这一背景下,Arm 近日推出一套面向 Agent 的 CPU 性能评估方法论,试图通过更贴近真实应用场景的测试,帮助企业判断不同 CPU 在 Agent 任务中的表现。

这不是孤例。AMD 此前已提出针对 Agent AI 的 CPU 工作负载评测框架,将工具执行、数据检索和任务编排等环节纳入测试;英特尔也针对 Xeon 6 处理器开展了相关测试,重点关注 Agent 任务的吞吐量与并发执行效率。

多家芯片厂商相继探索新的评测方法,背后是 Agent 正在改变 CPU 的工作负载。

过去几年,大模型算力竞争主要围绕 GPU 展开,Token 生成速度、吞吐量等指标成为衡量 AI 推理性能的重要依据。

随着 Agent 开始执行实际任务,除了调用大模型进行推理,还需要访问数据库、执行代码、调用工具等,这些环节都可能消耗大量 CPU 资源。

Arm 云 AI 解决方案架构总监 Ravi Malhotra 以软件开发 Agent 为例指出,模型首先进行推理并生成代码,随后 CPU 还需要完成代码构建、编译和测试,这些操作可能耗费大量时间。

" 在这类用例中非常重要的一点是,CPU 能多快完成自己的那部分工作,从而让控制权尽快回到更昂贵的 GPU 或加速器,以便执行流水线中的下一步。"Ravi Malhotra 向全天候科技等媒体表示," 如果 CPU 不够快,更昂贵的 GPU 就会处于闲置状态。"

更复杂的是,不同 Agent 的性能瓶颈并不相同。部分任务主要受 GPU 推理速度限制,部分任务则受 CPU 沙箱执行能力或数据检索效率制约。即便是同一类 Agent 的性能瓶颈也可能随着模型、部署环境和具体任务的变化而改变。

以软件开发为例,代码编译和测试往往需要持续占用 CPU 资源,因此更看重单个 Agent 的执行性能。相比之下,企业客户支持、个人助理等场景中的单次操作通常较短,但可能需要同时处理大量请求,对 CPU 的并发能力提出了更高要求。

这些差异也让 CPU 性能评估开始关注完整 Agent 任务的执行效率,以及不同工作负载下的性能表现。

此次 Arm 提出将组件级测试与端到端 Agent 基准测试结合起来。

其中,组件级测试覆盖 Web 服务器、数据库、模型服务及沙箱执行等环节,端到端测试则引入 SWE-bench、Terminal-Bench 等 Agent 基准,考察完整工作流程中的性能表现。

在单核性能、多核吞吐量等传统指标之外,Arm 还关注 Agent 并发数量、任务执行效率以及每机架性能。

Ravi Malhotra 强调,性能评估需要在吞吐量与 SLA(服务等级协议)要求之间取得平衡,不能单纯追求同时运行更多 Agent。

由于不同场景的需求存在差异,Arm 也不建议对各类 Agent 用例采用统一的权重分配方式,而是主张企业根据自身应用选择相应的评测指标。

随着 Agent 逐渐进入企业的实际业务流程,这些性能指标也成为企业选择和升级 CPU 基础设施的重要参考。

Ravi Malhotra 认为,软件开发、客户支持、供应链管理及个人助理等场景,将成为推动企业升级 CPU 基础设施的重要动力。

" 对企业而言,客户支持、供应链管理,以及个人助理等场景,更关注每机架性能,而 Arm AGI CPU 的可扩展性和能效优势在这些场景中尤为突出。"Ravi Malhotra 表示。

Ravi Malhotra 进一步指出,无论是为 Agent 应用升级现有基础设施,还是设计开发全新的基础设施,这些场景都会形成明确的升级需求,并有望成为推动 Arm AGI CPU 增长和普及的主要动力。

对企业来说,CPU 性能提升带来的价值,最终还需要体现在实际运营效率和成本上。

不同 Agent 的工作负载差异较大,基准测试中的性能优势能否真正转化为任务执行效率的提升和部署成本的下降,仍有待更多实际应用验证。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

arm ai gpu 吞吐量 数据库
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论