编辑推荐：
为解决传统反向传播（BP）训练生物物理神经元模型时存在的稳定性和梯度问题，研究人员开展了将进化算法（EAs）与异突触可塑性相结合的研究。结果表明，该方法能有效训练多种神经网络，性能与基于梯度的方法相当。这为训练生物物理神经元模型提供了新途径12。
在神经科学和人工智能领域不断交叉融合的当下，理解大脑如何学习和优化神经网络一直是研究的热点与难点。传统的神经网络训练方法，如基于随机梯度下降的反向传播（BP）算法，虽然在机器学习中取得了广泛应用，但在处理生物物理神经元模型时却面临诸多挑战。生物物理神经元模型具有高度复杂的动态特性，其电压和状态变量的 “尖峰” 现象导致模型呈现多维度非线性，这使得 BP 算法在训练过程中容易出现数值不稳定和梯度消失或爆炸等问题。而且，BP 算法中误差信号的反向传播方式在生物学上也缺乏合理性，与大脑中神经元的实际运作机制存在差异。因此，寻找一种更符合生物学原理、更高效稳定的神经网络训练方法迫在眉睫。
为了攻克这些难题，临港实验室、香港浸会大学、北京大学、浙江实验室、青岛大学等多机构的研究人员展开了深入探索。他们提出将进化算法（EAs）与异突触可塑性相结合的全新方法，相关研究成果发表在《iScience》杂志上。
在研究方法上，研究人员主要运用了以下关键技术：一是构建特殊的网络架构，模拟大脑中神经元的连接方式，使网络包含多个信息路由，每个路由代表一个 EA 智能体；二是引入基于多巴胺驱动的异突触可塑性规则，以此来评估智能体的性能并指导网络训练；三是采用离线重放机制，通过对多个输入刺激的平均奖励来更准确地评估智能体，解决了 EAs 与在线学习不兼容的问题。
下面来看具体的研究结果：
- 网络架构：突破传统模型中神经元单一连接的设定，模拟大脑实际情况，构建由控制网络 A 调节的、包含多个树突通路的网络 N。在此架构下，不同树突通路被依次激活，产生不同输出和奖励信号，进而刺激不同水平的多巴胺来引导突触可塑性，为后续学习过程奠定基础34。
- 基本学习过程：基于延迟奖励范式，研究人员模拟了异突触可塑性的机制。当突触后神经元接收来自不同突触前神经元的信号时，会产生不同的效果。如果突触前神经元的刺激使突触后神经元产生动作电位，会释放扩散性信使如一氧化氮（NO），在相邻突触产生增强 eligibility trace；反之则产生低增强 eligibility trace。同时，突触前释放的谷氨酸会刺激星形胶质细胞传播钙波，在多个突触产生抑制 eligibility trace。在高多巴胺水平下，突触会根据这些 eligibility trace 进行更新，而低多巴胺水平时突触则保持不变56。
- 多个父代和精英主义的实现：通过引入元可塑性机制，研究人员发现可以实现多个父代和精英主义。在元可塑性机制下，高功效突触在高多巴胺水平下会更加稳定，不易受到正常突触修饰波动的影响，从而保证了精英突触的保留，使树突能够拥有多个父代，符合 EA 中的精英主义原则78。
- EAs 与离线重放的兼容性：研究表明，EAs 与离线重放兼容。在线学习场景中，EAs 可能因单个刺激的影响而做出错误的父代选择；而在离线重放场景下，通过对多个输入刺激的平均奖励来评估树突通路，能够更准确地选择父代，确保评估的公平性和稳健性。这一发现为 EAs 的应用提供了更合理的场景910。
- 同步输入突触间的合作可塑性：研究发现，同步输入的突触间存在合作可塑性，表现为当一个突触被增强或抑制时，相邻突触也会有相应变化。在模型中，通过组突变（GM）模拟这种合作可塑性，结果显示 GM 对于 EA 学习的成功至关重要。相比个体突变（IM），GM 能使网络更快地收敛到更高的分类准确率1112。
- EA 训练的神经网络模拟大脑动态：研究人员使用 EA 训练循环神经网络执行上下文依赖决策任务，并将其与生物大脑和 BP 训练的神经网络进行比较。结果发现，EA 训练的网络在行为心理测量函数、状态空间轨迹、决策标准稳定性以及对相关输入的处理能力等方面，都与大脑动态相似，表明 EA 训练的网络能够模拟大脑在认知任务中的复杂动态1314。
- EA 的广泛能力和强大性能：研究人员通过训练不同架构的神经网络完成多种复杂任务，如训练稀疏循环脉冲神经网络生成任意时间依赖的输出轨迹、训练前馈模拟神经网络进行 MNIST 图像分类、训练深度神经网络玩 Atari 游戏等。结果表明，EA 能够有效训练这些网络，其训练的二进制权重网络在 MNIST 分类和 Atari 游戏中的性能与基于梯度方法训练的连续权重网络相当，证明了 EA 在训练复杂任务的神经网络方面具有广泛的能力和强大的性能1516。
研究结论和讨论部分指出，本研究将多种生物机制整合到 EA 网络中，为构建更符合大脑实际运作的神经网络模型提供了新的思路。虽然模型在生物学合理性方面存在一定局限性，如未考虑某些生物复杂性、缺乏对部分机制的直接证据支持等，但它为后续研究奠定了基础。未来研究可在此基础上进一步探索更复杂的激活模式和智能体间的相互作用，以增强模型的生物学合理性，这对于理解大脑的学习和记忆机制、推动人工智能发展具有重要意义。
