量子位 03-06
两台苹果跑满血DeepSeek!512G大内存真AI PC来了
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

只要两台苹果 Mac Studio,在家就能跑满血 DeepSeek R1 了?

一家大模型工作室在推特上宣布,成功用两台搭载 512GB M3 Ultra 的 Mac Studio,以 20token 每秒的速度成功运行 8bit 版 R1

而且经过一波核算,用 M3 Ultra 来跑模型,每 GB 内存的成本还不到 H100 的 6%

这家工作室就是EXO Labs,专门研究把大模型放到各种设备上运行。

之前,就是这家工作室的手笔。

前面 "H100 的 6%" 这一结果,也是由其创始人Alex Cheema计算得出,并且这里 M3 Ultra 算的是整机价格,而 H100 只是单独一块卡。

有网友评价说,在老黄的衬托下,苹果都显得有性价比了。

而且高达 512GB 统一内存的这种大显存设定,非常适合跑 R1 这样的 MoE 模型。

所以有网友在推特上喊话 EXO Lab,表示想看 8 台 Mac Studio 联机的表现。

EXO Lab 则回应说,有没有谁来搞个 2T 参数的 MoE 模型,顺便又期待了一波 R2。

消息传到微博后,国内网友也评价说,这回苹果是搞了个真 · AI PC。

MoE 架构模型的好搭档

这次 Mac Studio 搭载的 M3 Ultra,分为 28 核 CPU+60 核 GPU 和 32 核 CPU(24 个性能核心和 8 个能效核心)+80 核 GPU 两种配置,均配有 32 核的神经引擎。

统一内存则提供了 96GB、256GB 和 512GB 三种容量,内存带宽达到了 819GB/s,其中 512GB 只能搭配 32 核 CPU+80 核 GPU 的版本。

据苹果介绍,装有 M3 Ultra 的 Mac Studio,可以在本地运行 600B 参数的大模型。

性能上,M3 Ultra 版运行千亿参数大模型的 token 生成速度是 M1 Ultra 的 16.9 倍、M2 Ultra 的两倍多。

AI 视频处理性能,则是 Intel 版 Mac Pro 的 9.1 倍,M1 Ultra 的 1.3 倍。

至于售价,M3 Ultra 版的起售价格(28C+60G+96GB+1TB)为 3999 美元,国行版本32999元人民币。

最高配版(32C+80G+512GB+16TB)价格则是 14099 美元,国行版108749人民币。

如开头介绍,针对这样的配置和价格,EXO Labs 的创始人 Alex Cheema 算了这样一笔账:

NVIDIA H100:80GB,售价 25000 美元,相当于 312.50 美元每 GB;

AMD MI300X:192GB,售价 20000 美元,相当于 104.17 美元每 GB;

Apple M2 Ultra:192GB,售价 5000 美元,相当于 26.04 美元每 GB;

Apple M3 Ultra:512GB,售价 9500 美元,相当于 18.55 美元每 GB。

也就是说,M3 Ultra 平均下来每 GB 内存的价格仅有 H100(并且还是没被炒上天的官方价格)的 5.9%,和 M2 Ultra 相比也降低了 28.7%

不过如果考虑到内存速度,情况则有所不同:

NVIDIA H100:3TB/s,25000 美元,相当于 8.33 美元每 GB/s;

AMD MI300X:5.3TB/s,20000 美元,相当于 3.77 美元每 GB/s;

Apple M2 Ultra:800GB/s,5000 美元,相当于 6.25 美元每 GB/s;

Apple M3 Ultra:800GB/s,9500 美元,相当于 11.875 美元每 GB/s。

也就是说,不管是和 H100 比,还是和前一代的 M2 Ultra 比,M3 Ultra 上单位速度的成本都要更高,相当于牺牲了一部分速度换取更高的容量。

但是如果考虑到以 R1 为代表的 MoE 模型的运行特点——总参数量大,但运行时激活参数量相对较小,对内存速度的需求,相对容量而言重要性要低一些。

并且 EXO Labs 的运行结果也显示,R1 在两台 512GB M3 Ultra 的 Mac Studio 上跑出了 20token 每秒的速度,已经达到了可接受的水平。

所以这样看来,M3 Ultra 搭配稀疏 MoE 模型,依然是一对不错的搭档。

还有其他苹果新品

除了 M3 Ultra 版 Mac Studio,苹果最近还上线了一波其他新品。

包括 Mac Studio 本身,也还有一个装配 M4 Max 芯片的版本。

起步 14 核 CPU+32 核 GPU+36GB 统一内存 +512GB 固态,最高 16 核 CPU+40 核 GPU+128GB 统一内存 +8TB 固态,搭配 16 核神经引擎,售价16499-45749元。

笔记本也上新了 MacBook Air,搭载 M4 芯片。

13 寸版本,起售价 7999 元(10C+8G+16GB 内存 +256GB 固态);15 寸版本,起售价 9999 元(10C+10G+16GB 内存 +256GB 固态)。

此前一天,苹果还发布了新款 iPad 和 iPad Air。

iPad 搭载 A16 芯片,WLAN 版起售价 2999 元,蜂窝版起售价 4299 元(均为 128GB 存储);最高 512GB 存储,WLAN 和蜂窝版分别为 5199 元和 6499 元。

iPad Air 则采用 M3 芯片,分 11 寸和 13 寸两个尺寸,起售价分别是 4799 元和 6499 元(128GB,WLAN 版),最高价分别为 9999 和 11699 元(1TB,蜂窝版)。

你会不会入手苹果的新产品呢?欢迎留言跟我们分享。

参考链接:

[ 1 ] https://x.com/alexocheema/status/1897349404522078261

[ 2 ] https://x.com/exolabs/status/1897360590987051041

[ 3 ] https://x.com/exolabs/status/1897433256032641399

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai mac gpu 创始人
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论