摘要

近年来，神经形态计算（neuromorphic computing）逐渐成为研究热点，它利用尖峰神经网络（Spiking Neural Networks, SNNs）进行高效节能的计算。然而，由于尖峰信号的离散特性，传统的梯度下降法难以实现高效的学习。本文介绍了一种新的尖峰神经网络训练方法，通过光滑精确的梯度下降来避免尖峰信号的突然变化。

关键词：尖峰神经网络，梯度下降，伪尖峰，神经形态计算，二次积分 - 发放神经元模型

论文题目：Smooth Exact Gradient Descent Learning in Spiking Neural Networks

论文地址：https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.134.027301

期刊名称：Physical Review Letters

非扰动尖峰动态

传统的尖峰神经网络难以处理尖峰信号的出现和消失，因为这些变化往往是不可预测的。为了解决这一问题，研究者提出使用二次积分 - 发放（Quadratic Integrate-and-Fire, QIF）神经元模型。该模型通过将尖峰信号的出现和消失限制在实验结束时，使得网络的尖峰时间随着参数变化而平滑变化。这种方法允许精确的梯度下降学习，并能系统地增加或删除尖峰信号。

图 1. 扰动和非扰动尖峰形态。 ( a ) , ( b ) , ( d ) 在试验过程中，LIF 神经元的峰值时间可能出现中断。 ( a ) , ( c ) , ( d ) QIF 神经元的峰值时间仅在试验结束时无扰动地出现，其他时间随参数的变化而连续变化。左列：一个神经元接收到一个单一的输入，其权重增加（随着饱和度的增加而增加）。右列：神经元接受兴奋性和抑制性输入，其到达时间被移动到更大的时间。

伪动态与伪尖峰

为了实现尖峰信号的系统增加，研究者引入了伪动态（pseudodynamics）和伪尖峰（pseudospikes）的概念。通过在普通尖峰之间加入伪尖峰，网络可以在学习初期保持活跃，避免 " 死神经元 " 现象。这些伪尖峰与网络参数连续相关，并在学习过程中平滑转换为普通尖峰，确保梯度的连续性。

图 2. QIF 神经元的平滑梯度下降学习。 ( a ) 学习两个输入的权重和时间来调整前两个输出尖峰时间。 ( b ) 左：学习前，神经元没有尖峰。右图：学习后，神经元在期望的时间出现尖峰。 ( c ) 在学习过程中，伪尖峰时间平滑变化。 ( d ) 损失函数 L 的梯度分量在学习过程中不断变化。学习进度显示为自学习开始以来输出尖峰时间轨迹弧长的函数

图 3. 在 RNN 中学习精确的尖峰。 ( a ) 网络示意图。神经元在每次试验中都接收到来自外部输入神经元的相同尖峰信号。学习了前两个网络神经元的峰值时间。 ( b ) 学习前后网络神经元的尖峰。 ( c ) 学习过程中第一个神经元的峰值时间轨迹。期望的峰值向目标时间移动。 ( d ) 与 ( c ) 相同，但尖峰时间显示为输出尖峰时间轨迹弧长的函数。

实验验证与应用

研究者通过多种任务验证了该方法的有效性，包括单个神经元学习、递归神经网络（Recurrent Neural Networks, RNNs）的训练，以及手写数字识别任务（MNIST 数据集）的分类。实验结果表明，该方法不仅能使网络从静默状态激活，并且在标准机器学习任务中表现出较高的准确性。特别是在递归神经网络中，利用伪尖峰可以有效地传播误差，确保网络各层的神经元参与学习。

图 4. MNIST 任务。 ( a ) 三层网络尖峰栅格图。左：学习前的沉默神经元。右：学习后的稀疏尖峰。 ( b ) 学习后输出神经元的电压动态； ( c ) 分类误差动态。在测试期间也使用伪峰值在早期训练中产生较小的测试错误。

结论与展望

本文展示的研究证明了即便是具有离散尖峰特性的神经网络，也可以通过精确的梯度下降实现平滑的学习。这种方法不仅为生物神经网络的研究提供了新工具，也为神经形态计算开辟了新的应用前景。未来的研究可以探索更多具有连续尖峰时间特性的神经元模型，以进一步提升学习算法的稳定性和效率。

彭晨 | 编译

关于集智俱乐部

集智俱乐部成立于 2003 年，是一个从事学术研究、享受科学乐趣的探索者的团体，也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神，进行跨学科的研究与交流，力图搭建一个中国的 " 没有围墙的研究所 "。集智科学研究中心（民间企业）是集智俱乐部的运营主体，长期运营社区生态，催化理论创新。使命：营造跨学科探索小生境，催化复杂性科学新理论。

计算神经科学读书会

人类大脑是一个由数以百亿计的神经元相互连接所构成的复杂系统，被认为是「已知宇宙中最复杂的物体」。本着促进来自神经科学、系统科学、信息科学、物理学、数学以及计算机科学等不同领域，对脑科学、类脑智能与计算、人工智能感兴趣的学术工作者的交流与合作，集智俱乐部联合国内外多所知名高校的专家学者发起神经、认知、智能系列读书会第三季——「计算神经科学」读书会，涵盖复杂神经动力学、神经元建模与计算、跨尺度神经动力学、计算神经科学与 AI 的融合四大模块，并希望探讨计算神经科学对类脑智能和人工智能的启发。读书会已完结，现在报名可加入社群并解锁回放视频权限。

详情请见：计算神经科学读书会启动：从复杂神经动力学到类脑人工智能

探索者计划 | 集智俱乐部 2025 内容团队招募（全职 & 兼职）