雷科技 AI 硬件组 |   编辑：TSknight |   监制：罗超

当我们聊到个人 AI 时，端侧模型是肯定绕不开的，但现阶段的端侧模型其实还很难满足较复杂任务的 AI 运行需求，原因很简单：模型规模和能力仍然受到硬件限制。

如今前沿大模型的参数规模已经向万亿级迈进，如 Kimi K3 的公开参数量就高达 2.8 万亿，即使采用 4-bit 量化（牺牲部分精度以降低性能需求），光是模型权重就需要约 1.4TB 的存储空间，实际运行时还需要额外的内存开销。

而主流的消费级显卡显存大多数只有 8/12GB，少数高端显卡显存也就不过 16/24/32GB，至于显存更高的专业显卡，整套系统动辄六位数起步的部署价格，主打一个让你 " 望而生畏 "。

所以，在很长一段时间里，雷科技（ID：leitech）的观点都是：端侧没有大模型，但这个观点如今算是过时了。因为前有英伟达 RTX Spark，后有苹果 Mac Studio，两家公司同时对 " 端侧大模型 " 这个目标发起了挑战。

真正的 AI PC，来了

前段时间，Meta 正式发布 8160 亿参数的开放权重模型 Muse Spark Open，苹果则通过 MLX 框架，让这款模型在 M5 Ultra 版 Mac Studio 组成的集群上跑通了完整推理。单就参数量来说，Muse Spark Open 在目前公开参数量的大模型中都算得上第一梯队。

图源：苹果

虽然顶配版的 Mac Studio 也不便宜，但是这玩意至少能放到你的桌子上，然后还能部署一个近万亿参数的模型，单这点来说就很魔幻了。相对而言，英伟达这边倒是没那么夸张，他们的 RTX Spark 笔记本电脑只是把 1200 亿参数的模型塞进电脑而已。

以前大家想的是怎么把模型 " 砍 " 小塞进显存；现在巨头们直接带头掀桌子，把 "AI 超级计算机 " 搬上办公桌。在小雷看来，这基本宣告了个人 AI PC 正式迈入 " 千亿参数时代 "。

看到这里可能有读者要问："8160 亿参数以前不得用 H100 服务器集群跑吗？怎么塞进桌面 Mac Studio 里？"

核心就在于 MoE 架构与高带宽统一内存的结合。啥意思？简单来说，Muse Spark Open 虽有 8160 亿参数、256 个专家网络，但每次生成 Token 只动态激活约 420 亿（42B）参数。

图源：英伟达

这就像拥有 256 名专科医生的超级医院，每次看病只需 8 名对口专家会诊，单次计算量接近 42B 级别的模型，却能利用 816B 模型庞大的参数规模。

但 MoE 有个致命门槛：模型的全部权重仍然需要存储在内存中，省得掉计算量，省不掉内存容量。所以，苹果和英伟达盯上了同一个解决方案：将 CPU 和 GPU 整合进一个芯片里，然后用超大统一内存硬吃模型权重。

苹果用 2 台配备 512GB 统一内存的 M5 Ultra 版 Mac Studio，通过雷电 5 连接组成分布式推理集群，利用两台设备总计 1TB 的统一内存容量装下 816B 模型。而且在此基础上，还能通过四台 Mac Studio 进行并行推理，在苹果公布的测试中，四机生成速度超过 36Token/ 秒，足以应付不少日常开发场景。

虽然与部分云端模型的速度没得比，但是本地部署能够让敏感数据尽可能留在自己的设备上，并且在无网状态下也可以使用，这对于金融等领域的从业者来说，非常有吸引力。至于普通开发者，说实话还是云端算力便宜，因为部署一台 512GB 内存的 M5 Ultra 版本 Mac Studio，预计要花十万元以上，具体价格还得等苹果月底公布。

看到这里估计不少朋友都钱包一紧了，那么不买 Mac Studio，买 RTX Spark 笔记本电脑呢？倒是便宜不少，但 128GB 版本也要 4-5 万，虽然有如今内存价格太贵的因素，但这个溢价也确实恐怖。

花十几万部署 AI 大模型，

到底图什么？

那么问题来了，既然端侧部署大模型的成本这么高，为什么还要推行呢？对个人用户而言到底有什么用呢？

说实话，如果日常只是做个翻译、写写文案之类的活，那么云端 API 确实是最优解。但是，当你对 AI 的需求进入更深层次时，云端 AI 就未必能满足你的所有要求了。以编程为例，随着代码规模的增加，AI Agent 在任务过程中产生的 Token 消耗也会剧增，其中相当一部分来自上下文回顾和测试。

这些额外的推理成本并不少，特别是当你还要进行持续的测试和监控时。但如果端侧部署了 120B，甚至 816B 的模型，那么情况就完全不同了。开发者可以将这些琐碎的推理任务拆分给端侧模型，只有复杂任务才交给云端，那么边际推理成本就能大幅下降，不再需要为每次调用支付 API 费用。

图源：苹果

除此之外，就是那些关乎本地计算机和数据安全的任务，比如家庭智能设备管理、本地数据分析以及高保密要求的数据整理等需求，都可以通过部署端侧模型来降低数据外传的风险。

对于律师、金融分析师和部分程序员来说，这些投入可能是完全值得的，毕竟一旦数据泄露，损失往往都不止那点设备成本。

另外，在 AI 视频创作领域，端侧模型能够节省的云端生成费用就更多了。创作者完全可以在本地部署视频模型，然后以较低的边际成本反复生成视频，等得到满意的视频片段后，再上传到云端 AI，生成细节更多、效果更好的完整视频，大幅降低前期 " 抽奖 " 的成本。

对于普通用户来说，确实没有必要折腾大参数量的端侧模型，但是对于把 AI 当做生产力工具来使用的用户来说，这就是一笔投资罢了。

英伟达追求便携，苹果狂堆算力

在小雷看来，英伟达其实想走的是 " 移动全能 +CUDA 生态下沉 " 路线。英伟达在 RTX Spark 上把定制 Arm CPU 与 Blackwell GPU 做成单芯片 SoC，塞进华硕 ProArt 创 16、联想 YOGA Pro 15 等轻薄机身。

同时还拉着微软在上市首日提供适用于 Windows on Arm 的原生 PyTorch-CUDA 版本（支持 97% 的热门 Python 软件包），还搞定了本地 AI Agent（如爆火的 OpenClaw"AI 龙虾 "）、ComfyUI RTX Video 超分插帧和 DLSS 5 游戏等多场景适配。

配合 NVIDIA PAIR 技术，笔记本在家还能变成局域网 "AI 推理服务器 "，供其他电脑调用。这些能力可以说直接戳中了移动开发者的需求。简单来说，RTX Spark 是为那些多数时候都不在固定场所做开发，同时又对数据安全有很高要求的开发者准备的。

图源：华硕

在英伟达的构想中，RTX Spark PC 可以作为开发者的随身小助手运行端侧大模型，同时在能效上表现优于不少传统高性能笔记本电脑，在移动使用时也有不错的续航表现，同时还能兼顾创作、游戏等需求，也就是普适性。

而苹果就不同了，他们其实走的是 " 极致能效比 + 桌面集群扩展 " 的重资产路线。这套能塞进 816B 模型的设备，苹果就不指望你背出门，而是希望它们在部分本地 AI 推理场景中，成为传统企业级服务器的替代方案。

其实对于小型企业和个人工作室来说，这套设备还是挺有吸引力的。毕竟相比昂贵的 GPU 服务器，以及配套的维护成本，二三十万的 Mac Studio 集群倒也显得没那么遥不可及了。

不管是 RTX Spark 还是 Mac Studio，其实都证明了一件事：" 超大统一内存 " 正在成为 AI PC 进化的重要方向。虽然现阶段因为内存涨价、芯片成本等原因，导致这类产品的价格居高不下，但是从以往的经验来看，随着整个行业不断推进统一内存技术，相关产品的成本还是有望逐步下降的。

不过就目前而言，这些 " 真正的 AI PC"，还是属于专业开发者、重度创作者和土豪极客的 " 玩具 "。其中，苹果的多机并联方案是妥妥的 " 人民币玩家 " 专属，且 512GB 版月底才上市，而英伟达 RTX Spark 虽 2599 美元起售，但能爽跑 120B 模型的 128GB 满血版在国内普遍都要 4 万左右。

目前华硕 ProArt 创 16 RTX Spark、联想 YOGA Pro 15 RTX Spark 等首批机型已开始上市，苹果 512GB 版 M5 Ultra 也将在月底揭晓定价。后续如果有机会，小雷或许能搞一台华硕 ProArt 创 16 RTX Spark 回来，给大家做个评测，敬请期待。

End