神经异质性作为脉冲神经网络高效学习的统一机制

《Frontiers in Computational Neuroscience》：Neural heterogeneity as a unifying mechanism for efficient learning in spiking neural networks

该研究系统考察了外部、网络和内在神经异质性对脉冲神经网络（SNNs）计算能力的影响，通过三种学习算法（RLS、FORCE、SGD）评估其在曲线拟合、网络重构和现实任务（如图像、语音分类）中的表现。结果表明，所有异质性类型均显著提升学习准确性和鲁棒性，证实异质性是SNN优化设计的关键原则。

　　神经网络是大脑中高度多样化和异质性的系统，然而这种神经异质性在功能上的作用仍然不甚清晰。尽管近年来对神经异质性的兴趣不断增加，但对其如何影响不同层次的神经计算和学习方法的理解仍不充分。本文通过系统地分析三种关键的神经异质性来源——外部异质性、网络异质性和内在异质性，探讨它们在三种不同的学习方法下对计算能力的影响。研究结果表明，尽管不同类型的异质性在计算过程中扮演不同的角色，但它们都能显著提升学习的准确性和鲁棒性。这表明，跨多个层次的神经异质性可以增强神经计算的性能，并应被视为优化脉冲神经网络（SNN）设计的核心原则。

在生物系统中，神经元群体展现出显著的异质性，即使是在相同生理类别中的神经元之间，也存在差异。新的证据表明，这种多样性并非仅仅是噪声，而是神经计算和处理的基本特征。这种异质性体现在结构、遗传、环境和电生理等多个维度，包括神经元的阈值、膜时间常数、外部电流、电耦合强度以及重置机制等。这些差异反映了不同脑区中细胞组成和网络组织的异质性。然而，尽管这种异质性可能在表面上显得对网络的可靠性不利，理论和实证研究都表明，它实际上可以增强信息编码、学习的鲁棒性以及特定任务的计算能力。例如，膜和突触时间常数的差异有助于学习模型的泛化能力，而不同的神经元阈值则使SNN能够灵活地控制、编码和转换信号。然而，目前的研究大多聚焦于单一的异质性来源，未能全面揭示异质性如何影响不同学习方法和任务领域的计算过程。

基于之前的理论框架，我们将神经异质性分为三大类：外部异质性、网络异质性和内在异质性。外部异质性源于输入电流的变化，这些变化由实验者控制，反映了感觉刺激的特性而非网络结构本身。网络异质性指的是网络内部的结构多样性，例如突触连接或电耦合强度的差异。内在异质性则来自神经元自身的特性，与网络交互无关。这种分类为我们系统评估不同异质性对计算的贡献提供了有益的视角。虽然个体形式的异质性已经被单独研究，但尚不清楚它们是否在不同的学习方法和任务领域中表现出一致的计算效应。解决这一问题可以为理解异质性如何塑造生物和人工神经系统的计算提供更加统一的视角。

为了进一步探索异质性在不同学习方法中的作用，本文研究了三种学习方法：RLS、FORCE和SGD。RLS方法在基础曲线拟合任务中，当神经元的阈值或时间常数发生变化时，表现出性能的提升。FORCE方法源于回声计算领域，利用高维递归系统的动态特性进行计算，通过外部监督信号提供误差反馈，适用于更复杂的任务，如混沌系统预测、歌曲生成和记忆回忆。SGD方法则使SNN能够对视觉和听觉刺激进行分类，并且适合集成到现代SNN架构中。尽管这些方法扩展了SNN的学习能力，但尚不清楚神经异质性是否在这些方法中都提供一致的计算优势。

本文研究了三种代表性的异质性形式：外部电流、突触耦合强度和部分重置机制，并评估了它们在三种不同的学习方法下的影响。这些形式在建模研究中被广泛使用，但其影响仍不明确。我们评估了它们在RLS、FORCE和SGD方法下的效果，并将它们应用于从曲线拟合和网络重建到实际的语音和图像分类等多样化的任务。研究结果表明，无论异质性的来源如何，它都能显著提升SNN的性能和鲁棒性。这些发现突出了异质性的基本计算优势，并为我们理解异质性在神经系统中的功能作用提供了统一的视角。我们主张，异质性不仅是生物系统的特征，更是下一代SNN高效和适应性学习的关键设计原则。

本文还介绍了一个基于Izhikevich（IK）模型的基本SNN系统。IK模型是对Hodgkin-Huxley神经元模型的一种简化形式，通过分岔分析得出。尽管其复杂性较低，但它保留了神经元兴奋性的关键特征。为了引入外部、网络和内在异质性，我们允许三种模型参数在神经元之间发生变化。外部异质性通过为每个神经元分配独特的外部电流来实现，这种设计模拟了生物系统中感觉输入处理的固有变异性。例如，视网膜细胞中光敏感蛋白的密度差异或听觉毛细胞中机械敏感通道的差异，都会导致对相同刺激的不同响应，这在神经科学中已有广泛记录。

网络异质性通过调整电耦合强度来体现，使得神经元受到不同程度的网络影响。这种方法反映了大量实验数据所显示的突触和电耦合的异质性。通过引入电耦合强度的异质性，我们的模型能够复制这种结构多样性，确保网络交互与真实大脑的非均匀连接模式相一致。内在异质性则通过在产生脉冲后实施部分重置机制来实现，代表了膜电位的不完全复极化。这种机制允许神经元特定的脉冲后动态，增强由神经元自身状态引发的变异性。类似的方法已被用于解释神经元脉冲行为中的随机性和多样性。

在研究过程中，我们采用Lorentzian概率分布来模拟三种异质性来源的参数变化，该分布通过中心和半高宽来参数化，具有数学上的可处理性，并且在生物相关性上也得到了广泛支持。Lorentzian分布能够捕捉到感觉输入驱动的重尾变化，与高斯分布相比，更准确地反映了真实世界中神经元响应的范围。通过改变异质性的程度，我们能够评估不同异质性形式对网络性能的影响。研究结果表明，异质性对训练准确率的影响比对测试准确率更为显著，这可能意味着在某些情况下存在过拟合现象。

在FORCE学习方法的实验中，我们发现即使在没有异质性的网络中，通过精心调整超参数也能实现良好的训练效果。然而，这种效果对超参数设置高度敏感，表明缺乏鲁棒性和适应性。通过引入外部电流、电耦合强度或部分重置的异质性，我们能够显著扩展可行的（G, Q）参数空间，提高网络在不同超参数设置下的计算能力。这些结果表明，异质性能够通过打破同质网络中的对称性，减少冗余神经活动，从而创造更多独特的输入-输出映射路径。这种对称性的破坏使得网络能够更有效地利用其高维动态特性，降低因轻微超参数偏差而导致的性能崩溃风险。

在SGD学习方法的实验中，我们评估了异质性对不同数据集上任务表现的影响。使用包括视觉和听觉分类在内的四个基准数据集，我们发现异质性在不同数据集上都对计算性能有积极影响。例如，在SSC数据集上，独立异质性在参数η上的表现与η和g的联合异质性相似，而在SHD数据集上，独立异质性在η上的表现甚至优于η和g的联合使用。这表明，异质性来源的数量和类型与性能之间的关系是非线性的，生物系统可能根据任务需求选择性地使用某些形式的异质性，而非积累所有形式。

尽管本文的结果表明异质性在SNN中具有普遍的计算优势，但目前的实验主要集中在中等规模的网络上，尚未完全验证其在更复杂架构和神经元模型中的可扩展性和任务特定影响。因此，未来的研究需要进一步验证异质性在高性能设置下的通用性。通过将异质性作为核心设计原则，本文不仅加强了对生物神经计算的理解，还为构建更适应和高效的神经网络系统提供了理论支持。这为生物启发式神经系统的进一步发展提供了新的方向和思路。