财联社-深度 6小时前
Perplexity宣布将使用英伟达新款CPU 全新设计更符合AI代理需求
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

财联社 7 月 8 日讯(编辑 马兰)人工智能初创公司 Perplexity 周二宣布,该公司计划使用英伟达的新型 CPU 芯片。这将帮助英伟达撬动由英特尔和 AMD 等传统芯片制造商主导的 CPU 市场。

英伟达曾表示,预计到本财年末,其通用型 Vera CPU 的销售额将达到 200 亿美元。

与其 GPU 相比,Vera 芯片的推出更为重要,因为 OpenAI 等人工智能顶尖实验室已经开始设计自己的人工智能芯片,这迫使英伟达拓展其硬件产品线。

而 Vera 处理器的优势在于,它是从零开始为人工智能代理时代而构建。人工智能代理是一种自主程序,可以不断编写代码、执行任务并协调复杂的工作流程,而无需像人类计算机用户那样休息。

英特尔和 AMD 的 CPU 则从笔记本电脑时代开始兴盛,实际无法完美应对人工智能代理持续不断的循环运算。

Perplexity 公司负责计算机企业和基础设施的副总裁 Nate Kupp 表示,英伟达的 CPU 执行人工智能代理编码任务的速度比传统 CPU 快约 1.5 倍,这与他们核心架构完美契合。

Perplexity 拒绝透露计划购买多少颗英伟达 CPU。但英伟达此前曾透露,OpenAI、Anthropic 和 Oracle 也计划使用其 CPU。

英伟达 CPU 技术

英伟达在其博客中最新发表的文章指出,CPU 端的执行速度变慢,将导致强化学习每个周期受到的有效评估较少,从而训练时间延长,且需要更长时间来为单个用户提供服务,并可能导致 KV 缓存丢失,从而增加算力成本。

而 Vera 的设计可以帮助解决这三个问题。英伟达称 Vera CPU 的核心速度提升了 1.8 倍,能够在相同的时间窗口内完成高达 85% 的评估任务,并提供更丰富的强化学习反馈,从而带来更高质量、更丰富的训练信号,缩短训练时间。

与此同时,Vera CPU 在人工智能代理部署时,将主要的优化指标从纯粹的吞吐量转向严格且可预测的延迟。在保证 CPU 延迟稳定的情况下,服务单用户的时间将有效缩短,同等数量的 GPU 可以同时服务更多客户。

而针对 KV 缓存因 GPU 与 CPU 之间计算步骤间隔过大而被新请求刷新的问题,Vera CPU 选择压缩 CPU 端,减少等待时间,从而缩短 KV 缓存面临驱逐压力的时间窗口,从而保留更多数据,并减少通过重新计算而浪费的算力。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

英伟达 人工智能 芯片 gpu 英特尔
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论