IT之家 2小时前
OpenAI研究员盛赞AMD联合AI推理方案:表现“令人难以置信”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 7 月 29 日消息,科技媒体 Wccftech 昨日(7 月 28 日)发布博文,报道称 OpenAI 公司研究员 Jeffrey Wang 指出,AMD 携手 Cerebras 公司联合开发 AI 推理解决方案表现 " 令人难以置信 "。

IT 之家此前报道,该解决方案主要针对超低延迟 AI 推理场景,将整合 AMD 的 Helios 机架级解决方案与 Cerebras 的晶圆级引擎,从而应对英伟达和 Groq 合作。

按照双方披露的路线,Helios 机架承担高性能、可扩展吞吐引擎角色,主要处理提示词与大上下文窗口。

Cerebras 的 Wafer-Scale Engine 则负责对内存带宽要求更高的 Token 生成与解码环节,强调超低时延表现,结合使用 2 个计算引擎,预估可以将每瓦每秒 token 数量提高 5 倍。

OpenAI 的研究员 Jeffrey Wang 高度评价 AMD 联合开发的 AI 推理解决方案,表示:

我们内部在 Cerebras 芯片上运行某些 OpenAI 模型,表现非常出色,其推理速度非常亮眼。

对于我们日常工作而言,以前我可能需要等待几分钟才能完成一项任务,而现在切换任务的瞬间,该任务就已经完成了,这大大提高了我们的工作效率。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

amd it之家 英伟达 芯片 晶圆
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论