科普中国 1小时前
用自旋电子硬件给 AI 训练“减负”
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

人工智能已经全面融入我们的工作与生活,深度神经网络已经支撑起海量智能应用,成为驱动科技革命与产业升级的核心驱动力。而支撑这一切的底层算法之一,就是误差反向传播(Back-propagation, BP)算法。

BP 算法的核心流程包含信息前向传播与误差反向传递,其整个运算过程可分解为乘法、加法、非线性函数激活与激活函数的求导等四类基本操作,其中大量乘法运算是造成计算密集与高能耗的主要原因。

中国科学院物理研究所研究 / 北京凝聚态物理国家研究中心韩秀峰团队认为,对激活函数及其梯度进行合理近似或者无偏估计、在不改变网络结构的前提下动态剔除无效节点及与之相关的运算,不失为提升 BP 算法效率的有效策略。

该团队提出一种全新的优化思路:利用自旋轨道力矩磁性隧道结(SOT ‑ MTJ)的本征物理随机性,通过 SOT-MTJ 硬件随机采样实现激活函数梯度的概率化近似,构建出更高效的激活函数概率梯度反向传播(p ‑ GAF ‑ BP)算法。以往,SOT-MTJ 主要用于高性能磁随机存储器(MRAM)研发。

通过另辟蹊径,团队注意到 SOT ‑ MTJ 还具有连续可调的随机翻转特性——从低阻态翻转到高阻态的概率受外加电流的连续调制,能够将其用作概率可调的真随机数发生器,其高低阻态的涌现概率分布恰与 sigmoid 等典型激活函数 σ 高度吻合,可将其用于此类激活函数尤其是其梯度的无偏估计,并通过 SOT-MTJ 硬件执行此类操作。

基于自旋电子硬件采样的激活函数概率梯度反向传播算法。 ( A ) 高势垒自旋轨道力矩磁隧道结(SOT-MTJ)概率翻转特性图。 ( B ) 概率梯度激活函数反向传播(p-GAF-BP)算法中,误差沿采样结果为 ( 1,0 ) 的节点进行反向传播。 ( E-F ) BP 与 p-GAF-BP 在 MNIST 数据集识别准确率达 90% 时,反向传播梯度计算所需运算次数 ( C ) 及对应能耗 ( D ) 对比。

实验与模拟结果表明,p ‑ GAF ‑ BP 算法在保持模型精度基本不变的情况下,实现了运算量与能耗的显著降低。在异或门(XOR)逻辑任务中,该算法通过硬件实验成功完成网络训练;在 MNIST 手写数字识别任务中,包含 1 至 3 层隐藏层的网络均达到 97% 以上的识别准确率,与经典 BP 算法相当。更重要的是,在达到相同识别精度的条件下,p ‑ GAF ‑ BP 将梯度计算中的乘法与加法运算量减少约 1 个数量级,能耗降低约 79%。

这项工作将自旋电子器件的物理特性与神经网络的基础训练算法深度结合,另辟 " 硬件‑算法协同 " 的 AI 节能训练新范式。未来,随着自旋电子器件的集成化与芯片化,该方法可进一步应用于边缘智能芯片、低功耗训练设备,甚至扩展至大规模 Transformer 与大模型训练场景,为绿色普惠 AI 提供支撑。

策划制作

来源丨中科院物理所

宙世代

宙世代

ZAKER旗下Web3.0元宇宙平台

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

人工智能 神经网络 中国科学院 物理
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…
打开 ZAKER 参与讨论