智东西 02-28
AI加速涌向边缘,Armv9首次亮相IoT,助力物联网升级
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

作者|云鹏

编辑|漠影

DeepSeek 的火爆给全球 AI 产业发展带来的核心价值之一,就是极大加快了 AI 应用的普及,尤其在国内市场,几乎各类产品都在增加与 AI 能力的融合。

这意味着AI 大语言模型将不再只是在天上飞(局限于云端),更是可以真正落地在我们身边生活中的设备上,走向边缘和端侧,而 IoT 市场作为边缘智能的代表性领域,成为这波边缘 AI 的最大关注点之一。

今天,随着 AI 技术的快速发展,IoT 等边缘 AI 领域也逐渐涉及更复杂的算法,且涌现出了更多的边缘 AI 推理需求。这样一来,应用对计算性能以及算效比的需求越来越高,与此同时,数据安全问题也愈发凸显。

从智慧城市、智慧工业、智能家居、智能穿戴到新零售,AI 技术的广泛应用带来了 AI 计算需求和安全性方面的新挑战。面对这些新的需求,行业正呼唤新的解法。

就在昨天,Arm 发布了全球首个专为物联网优化,以全新的 Cortex-A320 CPU 和 Arm Ethos-U85 NPU 为核心的 Armv9 边缘 AI 计算平台。它不是 CPU 和 AI 加速器的简单堆叠,而是实现了 CPU 和 NPU 深度融合、相得益彰的解决方案。

这是 Armv9 架构诸多优势特性首次在 IoT 市场落地,其在效率、性能和安全方面的升级直指当下边缘 AI 新需求。与此同时,Arm 还将软件层的 KleidiAI 拓展到了 IoT 领域,使边缘 AI 开发进一步简化。

Cortex-A320 如何解决以 IoT 为代表的边缘 AI 领域行业需求痛点、Armv9 带来了哪些关键技术升级?软件层面的新进展又如何加速 IoT 领域的技术创新、应用落地?我们将尝试找到答案。

一、边缘 AI 风暴来袭,算力和安全成两大 IoT 突出难题

近年来,随着 AI 技术的发展和广泛应用、计算需求快速增长,越来越多 AI 工作负载从数据中心和云端转向边缘侧进行处理,这给人们的生产和生活带来了切实的益处,但同时也带来计算性能瓶颈、安全挑战等问题。

比如在工业质检领域,AI 视觉质检系统每带来 1% 的产线漏检率降低,可能意味着千万级的成本节约,但在复杂的工厂条件下实现这 1% 的小目标,从技术上来讲绝非易事;汽车行业,自动驾驶与驾驶员的生命安全息息相关,它的成功应用需要激光雷达、摄像头等传感器的数据需要在 100ms 内融合并被模型处理。

智慧医疗领域,边缘 AI 系统通过实时分析监护仪数据,预警相关病症的早期症状,这一过程的高效与精准,高度依赖于底层芯片的性能表现,算力不足导致的预警延迟以及预测准确率下降,都会极大影响到病人的健康。

未来随着 AI 高清视频实时分析、AI 工业设备故障检测等复杂任务需求越来越多,边缘 AI 计算能力的重要性愈发凸显。IoT 领域正呼唤从芯片架构到算法层的全面革新,进而真正释放 AI 带来的革命性潜力。

在计算性能、效率之外,边缘 AI 的发展同样带来了数据安全层面的风险。在边缘计算中,随着越来越多的边缘 AI 设备接入网络,数据在边缘设备和云端或者其他边缘设备之间传输,容易受到网络攻击。

因此面对边缘 AI 迅猛发展,边缘设备必须具备更强的推理能力、更安全的计算架构。

从行业视角来看,传统边缘侧设备所使用的芯片以无法满足越来越多的实时 AI 处理、计算密集型推理任务。

在昨日的 Arm 新品发布会上,Arm 物联网事业部业务拓展副总裁马健提到,在她近期与许多合作伙伴针对边缘 AI 的交流中,大家一致的反馈是,AI 将使他们重新定义产品设计——把具有 Transformer 这种加速功能的 AI 加速器加进去,或者采用能够更好支持 AI 的 CPU。

▲ Arm 物联网事业部业务拓展副总裁马健

IoT 产业对于在边缘侧也能拥有更高性能的 Cortex-A 级别的计算能力以及升级至 Armv9 架构的需求十分突出,Arm 的边缘 AI 平台新品,可以说是直指痛点。

二、10 倍 AI 计算性能,异构计算扩展场景适应力,支持 Armv9 四大安全特性

基于这样的行业背景,Arm 此次推出了首款基于 Armv9 架构、专为边缘 AI 设计的 Cortex-A CPU —— Cortex-A320,以及结合了 Cortex-A320 和 Ethos-U85 的边缘 AI 计算平台。

在 AI 计算性能和能效提升方面,Cortex-A320 相比 Cortex-A35 最高有着 10 倍的 AI 计算性能提升,相比 Cortex-A53 也有 6 倍以上的提升,这对于增强边缘设备的推理能力十分关键。

相较 Cortex-A520,Cortex-A320 的能效提升可以达到 50%,在相同芯片面积下,Cortex-A320 较 Cortex-A53 有着 15% 的性能提升,相较 Cortex-A35 有 30% 左右的性能提升。

这样的性能和能效提升反应在产业落地端,究竟能够带来怎样的改变?

以一个贴近日常的例子来说,相较于 Cortex-M 系列,Cortex-A320 在内存寻址能力、整体性能以及安全防护上均实现了显著提升,这使得它能够游刃有余地支撑起多种人机交互场景,特别是对视频流等视觉交互应用有着出色的支持。

设想一下,在某个重要的展览会上,你偶遇了一位熟人,却一时想不起他的名字,这时,你的智能眼镜就能即刻为你识别并提供对方的信息,甚至还能贴心地在你的视线中嵌入演讲要点,助你实现 " 即兴 " 发言。

随着技术的不断进步,智能眼镜这类边缘设备正逐步成为我们生活中的得力助手,让我们得以释放双手,去专注于更多想要完成的事情。

Arm Cortex-A320 带来的不仅是技术参数的变化,在部分领域甚至可以带来商业模式升级重构。边缘 AI 的算力跃迁,本质是在重构人、机器与物理世界的交互范式。

除了性能和能效的提升,异构计算的特性支持也同样重要。

这次 Arm 的 Cortex-A320 与 Ethos-U85 NPU 一起组成了 CPU+NPU 协同计算架构,形成完整的异构计算平台。要知道,Ethos-U85 是 Arm Ethos-U 产品线中的第三代 NPU,也是迄今为止性能和能效最强的 Ethos NPU,与上一代产品相比,其性能提升了 4 倍,能效提高了 20%。

基于异构计算能力,任何开发者们不希望在 Ethos-U85 上运行的 AI 操作,都可以回退到 Cortex-A320 上,利用其 Neon/SVE2 引擎更灵活有效地在 CPU 上执行。

这样一来,智能物联网与消费类电子生态系统能够在正确的时间、合适的地方运行最适合的工作负载。

CPU 与 NPU 的深度融合之下,新的 AI 计算平台可以覆盖更多应用场景,实现包括视觉和自然语言在内的多模态的环境感知与理解,进而运行 AI 智能体、自主规划、执行复杂任务。

8 倍的机器学习计算性能提升,令其可以赋能边缘 AI 设备本地运行超过 10 亿参数的大模型,让基于大模型的生成式 AI 更好地在物联网领域落地。

值得一提的是,在当下 AI 大模型需求较高的内存访问性能方面,Cortex-A320 支持更大的可寻址内存空间,能更灵活地管理多层次内存访问延迟。同时 Cortex-A320 还能运行功能更丰富的操作系统,让设备管理更灵活。

最后在安全性方面,Armv9 支持 MTE(内存标记扩展)、PAC(指针认证)、BTI(分支目标识别)以及 S-EL2 虚拟化,可以给边缘设备提供端到端的安全防护。

整体来看,在硬件层面,Arm 的 Cortex-A320 与 Ethos-U85 异构计算平台是实实在在地帮助企业解决了性能、能效和安全方面的边缘 AI 新需求。Armv9 架构层面的诸多优势特性,开始给 IoT 领域企业带来 AI 创新和应用落地的加速。

据悉,这次 Arm 发布的边缘 AI 计算平台已经获得亚马逊云科技、西门子、瑞萨电子、研华科技等厂商的支持。

三、Arm 软件大招落地 IoT,边缘 AI 规模化应用提速

当然,Arm 的完整解决方案不止于此。硬件是基础,软件是加速器,软硬件组合拳才能更高效地解决边缘 AI 痛点,此次 Arm 还同步将 KleidiAI 引入 IoT 领域,加速 AI 应用在边缘落地。

纵观行业发展,完善的软件生态可以降低开发者门槛,而软件也一直是 Arm 计算平台不可或缺的一部分。

正如前文所提到的,边缘设备种类繁多,硬件性能和功能差异大,在这一场景中,出色软件技术可以优化算法和模型,使 AI 模型能在各种边缘设备上高效运行。

对于边缘设备有限的计算资源,软件技术可通过模型压缩、量化、优化算法等手段,在保证 AI 性能的前提下,降低模型对计算资源的需求,进而提高计算效率。

KleidiAI 是一套专为 AI 框架开发者设计的计算内核,让开发者可以无缝地在 Arm CPU 上获取最佳性能,适用于各类设备。

从去年初次面向终端市场亮相、随后扩展至基础设施领域,KleidiAI 如今进一步覆盖 IoT 领域,给各个领域的开发者提供所需的性能、工具和软件库支持。

简单来说,Arm Kleidi 软件库最核心的作用就是帮助开发者让 AI 应用得到 Arm CPU 加速,因为目前全球大多数 AI 推理工作负载都在 Arm CPU 上运行。开发者不需要额外学习新工具和技能、无需复杂的集成工作,IoT 应用开发门槛和成本大幅降低。

在出色的软件生态和丰富开发工具的支持下,Arm AI 计算平台的灵活性得到了极大释放。

这次 Arm 的 Cortex-A320兼容 Linux、Zephyr、RTOS 等多种操作系统,依托 Arm Kleidi,可以适配 Llama.cpp、ExecuTorch、MediaPipe 等主流 AI 框架,实现 70% 性能提升,这对于 AI 应用在边缘落地是非常关键的。

马健在发布会上特别提到,这一优势让 Cortex-A320 在多个市场领域、应用场景和操作系统之间都具有更好的灵活性,对于合作伙伴来说,选择空间极大扩展,规划产品路线时也可以更好地适配不同场景需求。

此次 Arm Kleidi 扩展至物联网领域,进一步加强了 Arm 在 IoT AI 领域的技术优势,吸引更多开发者和企业基于 Arm 架构开发 IoT 应用,促进上下游产业的合作与创新。

展望未来,Arm 的边缘 AI 计算平台必然将在 IoT 生态系统中扮演至关重要的角色,各个细分市场都将从 Cortex-A320 中受益,Arm 无疑给 IoT 行业带来了更多可能性,为 IoT 市场的产品和应用创新打好了新的基础。

结语:IoT 边缘 AI 提速,Arm 软硬两手抓

近年来,Arm 持续进行平台化转型,此次 Arm 发布首个面向 IoT 的 Armv9 处理器 Cortex-A320、以及以 Cortex-A320 和 Ethos-U85 为核心的边缘 AI 计算平台,并扩展 KleidiAI 到物联网领域,无疑是通过软硬件协同,为边缘 AI 的加速发展、应用落地增添助力,也是Arm 近年积极扮演赋能 AI 在各领域落地的有力展现。

放眼未来,AI 计算正加速从云端走向边缘,未来边缘 AI 计算需求必然将持续增长,就像会中马健说道的,"AI 的未来在边缘,而边缘 AI 的未来属于 Arm。"我们拭目以待。

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 物联网 自动驾驶 iot 激光雷达
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论