驱动之家 10-17
苹果×NVIDIA“梦幻联动”!两台DGX Spark+Mac Studio合体:AI性能暴涨2.8倍
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 10 月 17 日消息,最近,EXO 实验室展示了其最新成果:将两台 NVIDIA 的 DGX Spark 迷你超算与苹果的 M3 Ultra Mac Studio 相结合,成功打造出一个高效的 AI 协同网络,实现了 AI 性能的大幅提升。

这得益于 EXO 实验室的主要项目 EXO,其核心在于其能够将大型语言模型(LLM)的推理任务智能分配到不同的硬件设备上。

传统上,推理任务通常依赖于单一的 GPU 或加速器,而 EXO 则能够自动将工作负载分散到用户所拥有的各种设备上,无论是桌面电脑、笔记本、工作站、服务器、平板电脑甚至智能手机,都可以成为这个协同 AI 网络的一部分。

在 EXO 的最新演示中,两台 NVIDIA DGX Spark 与苹果的 Mac Studio 被组合在一起,以充分利用了每台机器的独特优势。

DGX Spark 拥有强大的计算能力,而 Mac Studio 则拥有超宽的内存位宽和快速的数据传输能力著称,EXO 1.0 版本将这两者融合为一个单一的推理管道,并且效果出奇地好。

在 EXO 使用 Meta 的 Llama-3.1 8B 模型进行的基准测试中,这种混合设置比单独使用 Mac Studio 的速度快了 2.8 倍。

这还是在使用相对较小的 8B 模型和 8K-token 的情况下,如果使用更长的提示或更大的模型,性能提升可能会更加显著。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai mac spark 智能手机
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论