达尔顿（Dalton）——通过局部权重和替代导数传递实现SNNs中的深度局部学习

《IEEE Transactions on Emerging Topics in Computing》：DALTON - Deep Local Learning in SNNs via Local Weights and Surrogate-Derivative Transfer

针对尖峰神经网络（SNN）直接训练的挑战，本研究提出DALTON方法，结合局部权重传递和近似导数，有效利用深度结构提升特征学习，实验表明其优于传统TFR方法。

　　

摘要：

直接训练脉冲神经网络（SNNs）是一项具有挑战性的任务，因为它们具有内在的时间性。此外，基于常规反向传播（Back-propagation）的方法也不适用，因为SNNs中的脉冲信号不可微分。基于替代导数的方法结合时间反向传播（BPTT）能够很好地解决这些直接训练问题；然而，这些方法并不适合用于SNNs的片上训练。最近提出的三因子规则（TFR）适用于SNNs的直接局部训练，且与神经形态硬件兼容；然而，它们未能有效利用SNN架构的深度（我们在本文中通过实验证明了这一点），因此存在局限性。在这项工作中，我们提出了一种改进的传统三因子规则版本，该版本能够有效利用SNN架构的深度，尤其是在分层学习特征的过程中。受到反向传播算法的启发，我们理论推导出了这种改进的、基于三因子的局部学习方法，称为DALTON（通过局部权重和替代导数传递实现深度局部学习，Deep LocAl Learning via local WeighTs and SurrOgate-Derivative Transfer）。与TFR类似，我们提出的DALTON方法也适用于神经形态硬件的实现。通过对静态数据集（MNIST、FMNIST和CIFAR10）和基于事件的数据集（N-MNIST、DVS128-Gesture和DVS-CIFAR10）进行广泛实验，我们发现与传统的TFR实现相比，我们的DALTON方法能够更有效地利用卷积SNNs的深度。

引言

脉冲神经网络（SNNs）因其在多种应用中的潜力而逐渐受到人工智能社区的关注[1]、[2]、[3]、[4]，尤其是在计算机视觉领域，关于脉冲卷积神经网络（Spiking-CNNs）的研究也非常丰富[5]、[6]、[7]、[8]、[9]。这主要是因为SNNs在神经形态计算硬件上具有出色的能效[5]、[10]、[11]、[12]、[13]、[14]，同时它们在生物学上的合理性也很高[15]、[16]、[17]。与人工神经网络（ANNs）不同，SNNs中的神经元输出的是时间上的脉冲信号。构建SNNs并非易事，目前可用的方法数量有限。其中一种流行的方法是ANN到SNN的转换[5]、[18]、[19]、[20]，即通过将训练好的深度神经网络（DNN）中的非脉冲神经元（例如ReLU神经元）替换为脉冲神经元（例如积分-发射（IF）神经元），并进行其他必要的网络参数调整[19]、[20]。值得注意的是，深度SNNs已经在复杂数据集上取得了最佳性能[8]、[9]、[19]，因此非常受欢迎。尽管ANN到SNN的转换方法能够实现高精度，但由此构建的SNNs由于非脉冲神经元的行为近似导致高发射率[20]、[21]，从而在神经形态硬件上无法实现最佳能效。此外，这种转换方法没有利用SNNs中脉冲信号的时间特性，导致延迟增加，进而增加了能量-延迟积（Energy-Delay-Product）[5]、[19]、[21]。另一种流行的方法是直接训练SNNs，但这需要研究人员解决SNNs中离散脉冲信号（通常用狄拉克δ函数表示）的不可微分性问题。脉冲信号的可微分性问题使得反向传播算法无法直接应用。然而，近年来通过使用替代导数/梯度来近似脉冲函数的导数，已经在缓解这一问题方面取得了显著进展[17]、[22]、[23]；[24]中还使用了修改后的Sigmoid函数的导数（以及其他类型的替代导数）。这些基于替代导数的研究[14]、[17]、[22]、[23]、[25]属于替代梯度下降（SurrGD）方法范畴，该方法结合时间反向传播（BPTT）和替代导数来直接训练SNNs。通过直接训练，SurrGD能够有效利用脉冲信号的时间特性，从而实现低延迟的SNNs。