IT之家 3小时前
亚马逊AWS将部署Cerebras CS-3,与自家Trainium配套使用
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 3 月 16 日消息,亚马逊 AWS 与晶圆级 AI 芯片企业 Cerebras 美国当地时间本月 13 日宣布,亚马逊的 Amazon Bedrock 平台在未来数月将部署结合双方芯片产品的混合 AI 推理系统,带来最快的负载处理速度。

这一解决方案将结合 Cerebras 的 CS-3 系统、亚马逊 AWS 的 Trainium 芯片和亚马逊 AWS 的 EFA 弹性网络适配器,由 Trainium 芯片负责推理的预填充(提示处理),而 CS-3 则承担解码(输出生成任务),两者通过 EFA 连接在一起。

IT 之家了解到,推理预填充属于并行工作负载,要求大算力和适中的内存带宽;推理解码本质上是串行的,算力要求较小但内存带宽要求高。组合使用 Trainium 和 CS-3 能发挥两款 AI 芯片各自的长处,提供最佳的最终用户体验。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

亚马逊 it之家 ai芯片 aws 芯片
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论