人工智能正站在发展的分岔路口。随着个人设备与云平台内存成本螺旋上升、下一代模型训练算力激增，以及用户对云端服务的庞大需求，AI 的提供与使用成本居高不下。与此同时，隐私焦虑日益凸显：用户究竟向聊天机器人泄露了多少敏感信息？

在此背景下，在本地设备上运行模型成为解决上述痛点的关键方案。从手机端 Gemini Nano 模型总结邮件，到 PC 端利用 LoRAs 生成图像，本地 AI 理论上能在无网状态下承担更多任务。然而，理想丰满，现实骨感。运行大型语言模型不仅需要海量高速 RAM，更依赖专用加速器。尽管智能手机长期配备 NPU，但专有 API 限制及软件支持不一致，严重阻碍了普及。加之旗舰与中端机型性能差异巨大，开发者往往被迫维护多套代码或回退至低效的 CPU 实现。

相比之下，在 CPU 上加速基础 AI 工作负载正成为一条受欢迎的 " 中间路线 "。虽然其速度不及高端 GPU，但凭借 CPU 的通用性，该方案无需应对繁杂的专有驱动与 API。通过优化底层构建模块，CPU 也能提供不俗的性能表现。

移动芯片：从 SVE2 到 SME2 的进化

2021 年，Armv9 架构引入 SVE2 指令集，标志着移动 CPU AI 算力的跃升。不同于固定宽度的传统 SIMD 设计，SVE2 采用向量长度不可知模型，允许硬件将 SIMD 宽度在 128 位至 2048 位间灵活扩展。这种并行计算方式更灵活，并新增对 INT8 点积及 FP16 等低精度算术的支持，完美契合现代量化 AI 负载。

真正的变革源于 SME 及其迭代版本 SME2。SME2 通过专用矩阵执行模式扩展 CPU，引入新的矩阵寄存器并硬件支持 GEMM 风格操作。与传统向量执行不同，SME2 专为 Transformer 和 LLM 主导的密集线性代数任务设计，显著降低内存流量并提升矩阵乘法吞吐量。

尽管 SME2 等技术在绝对性能上仍难匹敌高功耗专用加速器，但相比无加速支持的旧款 CPU，其性能提升达 3 至 5 倍。更重要的是，SME2 低功耗、占地小，且已嵌入 Arm KleidiAi 等常用库中，极大降低了开发门槛。目前，SME2 已在联发科天玑 9500 处理器中落地，并有望出现在更多基于 Arm C1 Ultra 核心或授权架构的下一代芯片组中。

x86 阵营：AMD 与 Intel 联手推出 ACE

笔记本电脑领域亦不甘落后。近期，AMD 与 Intel 宣布成立合资企业，旨在将 AI 计算扩展（ACE）引入未来 CPU。效仿 Arm 的路径，ACE 将原生矩阵指令带入 x86 指令集，支持 INT4 亚字节类型以及传统的 BF16 和 FP16 数据类型。

ACE 建立在现有 AVX 指令基础之上，为 x86 平台提供一致且增强的并行数学处理能力，简化了消费级产品的 AI 开发流程。与现代手机处理器类似，ACE 直接集成于 CPU 流水线中，无需依赖外部 GPU/NPU 卸载或专有 API。

SME2 与 ACE 均代表了紧密集成的 CPU 矩阵执行能力，而非传统的卸载式加速器架构。这意味着 CPU 正从向量 SIMD 演变为原生支持张量和矩阵计算的架构。尽管 GPU 在大规模训练及超大模型运行上仍占主导，但 CPU 正迅速成为端侧及低延迟 AI 推理的更优选择。

对开发者而言，基于 CPU 的 AI 加速覆盖手机、笔记本及 PC，且无需受制于专有 GPU 或 NPU API，开发体验将大幅改善。唯一的遗憾是现有设备无法受益，但这一技术红利将在用户的下一次硬件升级中兑现。

【星途科讯 图文丨略略 首发于 ZAKER 科技，转载请注明出处】