通过可塑性实现稳定性：在表征漂移中寻找稳定的记忆

《Proceedings of the National Academy of Sciences》：Stability through plasticity: Finding robust memories through representational drift

记忆在突触中存储，并通过神经群体的再激活来检索。学习会改变突触权重，这可能干扰之前存储的记忆，从而在可塑性和稳定性之间产生权衡。有趣的是，神经表征即使在稳定的环境中也会发生变化，这种现象称为表征漂移。理论上，多个神经表征可以对应一个记忆，学习过程中对这些表征的探索会驱动漂移。然而，尚不清楚漂移产生的表征是否与学习产生的表征不同，或是否具有独特优势。本文显示，表征漂移揭示了噪声鲁棒的表征，这些表征通常难以学习。我们定义了固定输入-输出映射的突触权重解空间流形，并将漂移建模为在这个流形上的扩散。解空间中，许多不活跃或饱和的神经元会生成稀疏的表征，这些表征在噪声扰动下更鲁棒。我们还引入了一种分配过程，选择性地将新刺激的表征转移到学习有利的模式中。结合漂移和分配，我们提出了一种动态解决方案，以解决学习性与鲁棒性的权衡问题，使大脑能够保持学习的适应性和记忆的稳定性。

　　在神经科学领域，我们对于学习和记忆的理解常常基于突触和神经元的变化。然而，有一种现象被称为“表征漂移”（representational drift），它指的是在没有明显学习或遗忘的情况下，神经表征发生变化。这一现象揭示了大脑在保持记忆的同时，也具备一定的适应性。在本研究中，我们提出了一种理论框架，揭示了表征漂移在学习和记忆保持之间如何起到桥梁作用。

神经网络中的表征漂移，可以被理解为在满足特定输入输出映射的突触权重空间中进行的随机探索。这种探索使得系统能够发现一些对噪声具有鲁棒性的表征，这些表征虽然难以通过学习获得，但它们可以提供更稳定的记忆。为了研究这一过程，我们引入了一个数学模型，模拟了漂移如何在表征空间中进行，并展示了漂移如何通过随机扩散来改善鲁棒性，同时可能会降低学习能力。

在这一模型中，我们假设神经活动是通过输入的前馈驱动来决定的，并且神经元的激活函数具有有限的阈值和饱和点。当输入电流低于阈值时，神经元处于不活跃状态；当输入电流超过饱和阈值时，神经元处于饱和状态；而在阈值和饱和阈值之间的输入电流，会导致神经元的活动变化，从而产生学习相关的梯度信息。因此，漂移过程通常涉及这些活跃神经元的变化，而这些变化则导致表征变得更加稀疏，从而增强了其对噪声和持续学习的鲁棒性。

我们的研究进一步表明，漂移虽然提高了表征的鲁棒性，但也带来了学习能力的下降。这是因为，稀疏表征的神经元在学习过程中缺乏梯度信息，从而难以调整权重以适应新的输入条件。为了克服这一学习与鲁棒性之间的权衡，我们提出了一种“分配”（allocation）机制，该机制能够将新的刺激条件下的表征转移到更有利于学习的状态。通过将漂移与分配结合，我们发现系统可以在保持记忆的同时，也具备新的学习能力。

这一理论框架的提出，基于一个简单的假设：表征漂移可以通过权重空间中的扩散过程来建模。在这个过程中，漂移维度的变化是随机的，而这些变化在漂移过程中通常不会影响读出（readout）的结果。通过将漂移与分配机制结合，系统可以在学习新信息时，动态地在鲁棒性与学习能力之间进行转换。这为我们提供了一种理解大脑如何在不断变化的环境中维持记忆和适应新信息的新视角。

此外，我们还研究了漂移如何影响表征的稀疏性。结果表明，漂移过程中，系统倾向于探索稀疏表征，这些表征由于包含较多的不活跃或饱和神经元，因此对权重扰动具有更强的鲁棒性。这说明漂移并不是一种简单的随机过程，而是一种有目的的探索机制，能够发现那些在学习过程中可能被忽略的鲁棒性表征。

在实验部分，我们模拟了漂移过程，并研究了漂移后表征的特性。结果表明，漂移后的表征具有更小的读出误差，这表明漂移确实能够提高表征的鲁棒性。然而，这种鲁棒性是以学习能力的降低为代价的。漂移导致的稀疏表征虽然在面对噪声和持续学习时更为稳定，但在学习新信息时，它们的梯度信息较少，从而使得学习变得困难。

为了验证我们的理论框架，我们设计了一个简单的玩具模型，其中包含两个神经元和一个读出层。在漂移过程中，我们观察到系统能够找到稀疏且鲁棒的表征，而这些表征在学习过程中能够提供更稳定的输出。通过将漂移与分配机制结合，我们成功地在不干扰已有记忆的情况下，实现了新的学习。

我们的研究还揭示了漂移在生物系统中的潜在机制。例如，漂移可以通过调整神经元的激活阈值或改变神经元的兴奋性来实现。这些调整可以在不改变表征的情况下，为学习提供所需的梯度信息。通过这种方式，漂移不仅能够增强记忆的鲁棒性，还能为新的学习提供支持。

综上所述，我们的研究为理解表征漂移在学习和记忆保持中的作用提供了新的视角。漂移虽然在学习能力上有所牺牲，但通过动态的分配机制，系统能够在保持记忆的同时，也具备新的学习能力。这一发现不仅加深了我们对神经网络适应性的理解，也为未来的神经科学研究提供了新的思路。