基于脉冲神经网络的编码器-解码器模型在地址事件表示对象识别中的应用

《IEEE Transactions on Cognitive and Developmental Systems》：An Encoder–Decoder Model Based on Spiking Neural Networks for Address Event Representation Object Recognition

事件驱动物体识别中，基于SNN的编码器-解码器模型通过改进STDP机制提升性能。研究提出LC-SNN编码器提取空间时间特征，FC-SNN解码器采用奖励调制STDP（R-STDP）和优化WTA机制进行分类。实验在N-MNIST、MNIST-DVS和DVS手势数据集上，识别准确率分别提高0.19%、0.27%和1.35%。

　　

摘要：

事件表示（AER）对象识别任务在神经形态视觉处理中引起了广泛关注。基于脉冲的、事件驱动的计算方式是脉冲神经网络（SNN）的固有特性，为AER对象识别提供了一种节能的解决方案。然而，采用基于脉冲时序依赖性可塑性（STDP）学习规则的SNN并未实现令人满意的AER对象识别性能。本文提出了一种基于SNN的编码器-解码器模型，以提高AER对象的识别性能。我们提出了一种基于STDP的局部连接脉冲神经网络（LC-SNN）作为编码器，以更灵活地从AER事件流中提取丰富的时空特征。在编码器提取并学习到初级特征后，我们提出了一种基于奖励调节的脉冲时序依赖性可塑性（R-STDP）学习规则的全连接脉冲神经网络（FC-SNN）作为解码器，用于学习更高层次的特征以进行分类。此外，我们根据奖励和惩罚决策改进了解码器中的“胜者通吃”（WTA）机制和R-STDP学习规则，从而使网络表现得更好。实验在N-MNIST、MNIST-DVS以及动态视觉传感器（DVS）手势数据集上进行，分别将现有最佳基于可塑性的SNN的准确率提高了0.19%、0.27%和1.35%。

引言

随着计算开销的不断增加以及能源受限应用数量的增多，越来越多的研究人员致力于构建具有与生物计算相同效率的神经形态系统。近年来，提出了一系列基于AER的神经形态传感器，以探索更先进的神经形态系统，包括动态视觉传感器（DVS）[1]、异步时间基图像传感器（ATIS）[2]和动态活动像素视觉传感器（DAVIS）[3]。AER视觉传感器借鉴了生物视觉皮层中基于脉冲的高效信息处理方式，仅输出场景中像素亮度的变化，自然地响应移动物体并忽略静态冗余信息。传统帧相机记录的固定帧率图像通常由于场景中的强时空相似性而产生大量数据冗余。这一问题在很大程度上可以通过AER视觉传感器得到解决。此外，与传统视觉传感器相比，AER视觉传感器具有高时间分辨率、低延迟和高动态范围等优点。这些AER视觉传感器在许多领域展现了日益增长的应用潜力，如自动驾驶[4]、[5]、[6]、[7]、机器人技术[8]、[9]、[10]、无人机[11]、[12]、触觉感知[13]、[14]等。