高精度且硬件效率高的脉冲神经网络设计

《IEEE Transactions on Circuits and Systems for Artificial Intelligence》：Design of Highly-Accurate and Hardware-Efficient Spiking Neural Networks

脉冲神经网络（SNNs）结合随机计算与权重二值化设计，提出WB-SNN架构以降低内存需求，并通过FPGA实现验证其在MNIST和CIFAR-10数据集上实现高精度与硬件优化的平衡。

　　

摘要：

脉冲神经网络（SNNs）作为一种替代传统人工神经网络（ANNs）的方案，在能效设计方面展现出了巨大潜力。SNNs通过在一个时间窗口内的脉冲数量来编码信息。而随机计算（SC）则采用类似但不同的方式，将二进制数编码为随机二进制比特流并进行运算。在本文中，我们首先提出了一种硬件效率高的随机SNN设计，该设计能够实现高精度。随着网络复杂度的增加或神经元数量的增多，内存使用量往往会呈指数级增长。受到二值化神经网络（BNNs）概念的启发，我们进一步提出了权重二值化SNN（WB-SNN）的设计，以降低SNN对内存的需求。这两种设计都利用了优先编码器将神经元层间的脉冲转换为基于索引的信号，从而解决了在相对较低的信息密度下需要大量硬件资源的问题。此外，我们还设计了一种基于WB-SNN的卷积神经网络（CNN），用于处理大规模数据集的识别任务。在FPGA（现场可编程门阵列）上对修改后的国家标准与技术研究院（MNIST）图像识别数据集进行的实验表明，与其他SNN相比，这种随机SNN设计在更小的硬件资源下实现了更高的准确率。通过分别在MNIST和CIFAR-10数据集上使用多层感知器和CNN进行验证，发现WB-SNN在节省内存的同时仅损失了有限的准确率。

引言

受神经科学的启发，由神经元和突触组成的简化大脑模型在处理复杂计算任务和机器学习问题时被证明非常有效[1]。这种简化的计算模型试图利用人脑的结构，为所谓的人工神经网络（ANNs）奠定了基础。在ANN中，每个神经元的输入携带以特征值形式编码的外部数据信息（例如图像中的像素[2]）。不同输入的权重模拟了来自其他神经元的兴奋性或抑制性信号。在每个神经元内部，输入的加权和经过激活函数处理后产生输出，该输出也被称为激活信号[3]，并作为其他神经元的输入。