基于位平面与颜色模型的脉冲神经网络性能优化研究

《IEEE Access》：Improvement of Spiking Neural Network With Bit Planes And Color Models

本文针对脉冲神经网络(SNN)在图像分类任务中的性能优化问题，提出了一种结合传统脉冲编码与位平面编码的新型编码方法，并系统评估了不同颜色模型对SNN性能的影响。研究通过理论分析和大量实验证明，该方法能有效提升SNN在多个数据集上的分类准确率，最高提升达17.33%，且首次揭示了HSL颜色模型在SNN中的优势。该研究为SNN的输入编码策略提供了新思路，对推动低功耗神经形态计算发展具有重要意义。

　　

在人工智能飞速发展的今天，传统人工神经网络(ANN)虽在诸多领域取得突破，但其高能耗和生物不真实性逐渐成为制约因素。与此同时，脉冲神经网络(SNN)因其事件驱动的特性、低功耗和更强的生物合理性而备受关注，被誉为第三代神经网络。然而，SNN的实际应用面临严峻挑战：传统ANN中成熟的训练方法难以直接迁移，脉冲信号的离散性导致梯度传播困难，且输入数据的编码方式对性能影响显著。更具体地说，现有SNN多采用泊松分布率编码等传统方法，但这种方式可能无法充分利用图像数据中的多层次信息，制约了模型性能的进一步提升。

正是在这样的背景下，来自越南芹苴大学、VinUniversity和日本会津大学的研究团队在《IEEE Access》上发表了创新性研究。他们独辟蹊径地思考：能否借鉴ANN中成功的图像处理技术来提升SNN性能？特别是，图像中的位平面（将像素值分解为不同重要性的二进制层）是否含有对SNN更有价值的信息？不同颜色模型（如RGB、HSL、HSV等）又会对SNN产生怎样的影响？这些问题此前在SNN研究领域几乎无人探索。

为解决这些问题，研究团队开发了一种融合传统脉冲编码与位平面编码的新型混合编码方案。该方法的核心创新在于将输入图像同时通过两种方式编码：一方面保留传统的脉冲编码，另一方面将图像分解为其二进制位平面。这些位平面随后在通道维度进行拼接，形成丰富的多层级输入表示。研究还系统比较了七种颜色模型（RGB、CMY、YCbCr、HSL、HSV、CIE XYZ和CIE LAB）在这一新编码框架下的表现。

关键技术方法主要包括：1）基于SEW-ResNet18(ADD)的SNN架构，使用整合发放(IF)神经元和反正切替代梯度函数；2）新型位平面编码算法，将图像张量分解为多个二进制层；3）多颜色模型转换技术，评估不同色彩空间的影响；4）基于信号噪声比(SNR)的理论分析框架，从优化角度解释性能提升机制。实验涵盖11个数据集（3个灰度+8个彩色），采用80%-20%的训练-验证划分，批量大小为16，训练100个周期。

II. 脉冲神经网络概述

研究首先阐述了SNN的基本原理，重点介绍了整合发放(IF)神经元模型和SEW-ResNet残差学习架构。与传统Spiking ResNet相比，SEW-ResNet通过脉冲逐元素函数实现了恒等映射，有效缓解了梯度消失/爆炸问题，为深度SNN训练提供了稳定基础。

III. 位平面与颜色模型在深度学习中的应用

本文系统回顾了位平面在ANN中的成功应用，如二进制神经网络(BNN)中的输入层编码和对抗鲁棒性增强。同时，详细分类介绍了设备导向（RGB、CMY）、用户导向（HSL、HSV）和设备无关（CIE XYZ、CIE LAB）颜色模型及其在深度学习中的价值。这些背景知识为SNN领域的创新应用奠定了理论基础。

IV. 提出的方法

核心算法通过逐元素除法和取模运算提取位平面。对于最大值为X_max的张量，所需位平面数n_bit= ?log₂(X_max)?。例如，8位灰度图像产生8个二进制通道，其中最高有效位包含主要结构信息，最低有效位主要编码细节和噪声。初步MNIST实验验证了单独使用位平面编码性能低于基线，但与传统脉冲编码结合后准确率提升至98.93%，证实了位平面信息的互补价值。

V. 理论基础

研究团队从随机优化角度提供了理论解释。通过重新表述替代梯度优化问题，他们证明了位平面编码的引入可以提升随机梯度的信号噪声比(SNR)。具体而言，信号项‖E_x[δ^bit(x)]‖_∞²因位平面带来的额外信息而增大，而噪声项E_x‖δ^bit(x)-E_x[δ^bit(x)]‖_∞²在梯度分布相似的条件下保持不变，从而导致更高的SNR。MNIST上的实证测量显示，新方法的平均梯度SNR确实高于基线，与理论预测一致。

VI. 实验

灰度图像数据集上位平面编码的效果

在MNIST、KMNIST和Fashion-MNIST上的实验表明，单纯使用位平面编码性能下降，但与传统脉冲编码结合后，准确率平均提升1.04%。复杂数据集（如Fashion-MNIST）上的提升幅度(1.36%)大于简单数据集（MNIST为0.31%），表明位平面编码对复杂任务更有效。

SNN变体的比较

在SEW-ResNet18的不同变体（ADD、AND、IAND）及Spiking-ResNet（18/34/50层）上测试，新方法均一致优于基线，提升幅度从0.31%到44.40%不等，证明了方法的通用性。

位平面编码对彩色图像的效果

在CIFAR10、CIFAR100等八个彩色数据集上，新方法平均准确率提升6.84%，最高在Food101上达17.33%，显著高于灰度图像上的提升幅度，显示了在复杂彩色图像任务中的巨大潜力。

颜色模型的影响

研究发现RGB并非最优选择，仅在CIFAR100和Caltech256上表现最佳。HSL模型平均表现最稳定（平均61.09%），而CMY最差（60.43%）。理论分析表明，HSL的色相分量采用0-359度表示，需要n_bit=9位编码，可能提供更高的SNR；而CMY范围有限（[0,100]），仅需7位，限制了其性能。但计算开销分析显示，性能提升以处理时间增加为代价（CMY: +48.57%, HSL: +85.35%），需要在准确率和效率间权衡。

结论与讨论

本研究首次将位平面和颜色模型系统引入SNN领域，证实了它们对性能的提升作用。理论分析表明，位平面编码通过增加梯度幅值和改善训练过程中的SNR来发挥作用。实验证明，该方法对不同的SNN架构和数据集均有效，且揭示了颜色模型选择的重要性。尽管增加了计算开销，但为SNN的输入编码策略提供了新方向。未来工作将集中在硬件部署（如FPGA、Intel Loihi芯片）、跨任务评估以及更深入的理论分析上，以进一步推动低功耗神经形态计算的发展。