IT之家 1小时前
苹果晒M5芯片AI性能:相比M4文本生成最高提速27%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

IT 之家 11 月 21 日消息,苹果机器学习研究博客于 11 月 19 日发布博文,公布了 M5 芯片的最新性能数据,重点展示了其在运行本地大语言模型(LLM)方面的显著优势。

此次性能评估的核心平台是苹果此前推出的 MLX,这是一个专为 Apple Silicon 设计的开源机器学习框架,它利用统一内存架构,让模型能够在 CPU 和 GPU 之间高效运行。

在核心的文本生成测试中,苹果使用了 MLX LM 工具包对多款开源大模型进行了基准测试,包括不同参数规模的 Qwen 模型和 GPT OSS 模型。

测试结果显示,M5 芯片在生成后续文本 token 时的速度比 M4 提升了 19% 至 27%。苹果指出,这一性能飞跃主要得益于内存带宽的提升,M5 的内存带宽高达 153GB/s,相比 M4 的 120GB/s 增加了 28%,这对于内存密集型的 token 生成任务至关重要。

报告进一步解释了 LLM 推理过程中的两种不同负载。IT 之家援引博文介绍,生成第一个 token 主要受计算能力限制(compute-bound),而生成后续 token 则更依赖于内存速度(memory-bound)。

因此,M5 凭借其更高的内存带宽,在持续生成文本的场景中展现出明显优势。苹果还强调,配备 24GB 内存的 MacBook Pro 能够轻松运行参数量达 300 亿的 4-bit 量化混合专家模型(MoE),并将推理负载控制在 18GB 以内。


第一个 tokens 生成速度后续 tokens 生成速度内存 ( GB )
Qwen3-1.7B-MLX-bf163.571.274.40

Qwen3-8B-MLX-bf16

3.621.2417.46

Qwen3-8B-MLX-4bit

3.971.245.61

Qwen3-14B-MLX-4bit

4.061.199.16

gpt-oss-20b-MXFP4-Q4

3.331.2412.08

Qwen3-30B-A3B-MLX-4bit

3.521.2517.31

除了文本处理能力,M5 芯片在图像生成方面的提升更为惊人。报告提到,M5 芯片中集成了全新的 GPU 神经加速器,专门用于处理机器学习负载中至关重要的矩阵乘法运算。

得益于此项硬件升级,M5 芯片执行图像生成任务的速度是 M4 芯片的 3.8 倍以上。这一巨大飞跃预示着,未来搭载 M5 芯片的 Mac 设备将在创意设计、内容生成等视觉 AI 应用领域提供远超以往的流畅体验。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

芯片 机器学习 开源 it之家 gpu
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论