具有皮层归纳偏见的循环神经网络（RNNs）中的刺激-刺激学习

《PLOS Computational Biology》：Stimulus-to-stimulus learning in RNNs with cortical inductive biases

动物通过经验性学习形成外部事件的条件反射，其中刺激替代是关键机制。本研究提出一种基于皮层双 compartment锥体神经元的循环神经网络模型，利用混合表征和生物启发式架构实现刺激替代。模型通过局部突触可塑性规则，无需参数调优即可学习多种条件反射现象，包括延迟条件反射、痕迹条件反射、消退与再获得、遮蔽效应、预期超调及竞争刺激处理。实验表明，与传统海布氏规则相比，该模型在混合表征场景下更具泛化能力和适应性，且符合神经可塑性机制。

　　动物通过经验学习预测外部的因果关系，这一过程被称为条件反射。条件反射的自然机制是刺激替代，即神经元对条件刺激（CS）的反应逐渐与对非条件刺激（US）的反应趋于一致。本文提出了一种递归神经网络（RNN）模型，该模型利用大脑皮层中普遍存在的两种归纳偏置：一种是表示层面上的混合刺激表示，另一种是神经元结构层面的两室结构。这种两室结构的神经元已经被证明是皮层联想学习的基本单元。这些神经元的特性使得我们可以建立一种生物上可行的学习规则，这种规则仅依赖于突触处可用的信息。研究表明，该模型能够生成一系列条件反射现象，并且在不依赖于每个实验任务的具体参数微调的情况下，能够学习大量关联。

与传统的赫布规则相比，本文模型具有显著的优势。赫布规则虽然能够再现这些行为现象，但它们基于一个简化的假设，即每个神经元群体只负责一个特定的关联。这一假设在当前关于混合表示的理论观点下并不成立。为了克服混合表示带来的额外复杂性，我们利用了两室结构的神经元作为归纳偏置。这些神经元的结构特性使得我们能够构建一种生物上可行的学习规则，这种规则能够实现刺激替代，即神经元在CS出现时表现出与US相同的发放率。

在延迟条件反射实验中，动物需要学习16对CS-US关联，每个实验的持续时间为500毫秒。虽然在这个实验中，短期记忆网络不是必需的，但我们在模型中保留了它以确保所有实验的一致性。通过500次训练试验（每对约32次），网络已经准确地学习了所有关联。随着训练的进行，学习过程的动态变化显示出，学习速度随着试验次数的增加而加快，尤其是在早期阶段。这表明，网络能够快速学习到多个CS-US对的关联。

在追踪学习动态时，我们发现，当CS和US单独呈现时，神经元的活动模式与它们同时呈现时相比有所变化。早期的神经元活动与US的活动模式没有明显的相关性，但随着训练的进行，神经元对CS的反应逐渐与对US的反应一致，从而实现了刺激替代。此外，学习过程中出现的多种条件反射现象，如阻断、掩盖、显著性效应、过度期望和因果效应，都得到了充分的解释。

我们还研究了条件反射中关联数量对学习速度的影响。结果表明，学习所需的试验次数与关联数量之间存在幂律关系，指数为1.70。这种现象可能是由于不同关联之间的干扰所致，即学习一个关联会导致其他关联的一定程度的“去学习”。随着刺激数量的增加，这种干扰变得更加明显。此外，当关联数量较少时，网络能够实现非常快速的学习。

在研究刺激显著性对学习的影响时，我们发现显著性更高的刺激能够更快地与US建立联系。这是因为显著性高的刺激会引发更强的神经元活动，从而在突触处产生更强的前突触电位，增强学习。这种现象在多种神经网络模型中都得到了验证，表明显著性效应是条件反射中的一个重要因素。

在研究因果性对学习的影响时，我们发现因果性越强，学习速度越快。这表明，因果性是条件反射中的关键因素。然而，我们还发现，即使因果性较弱，网络也能够学习到关联，但需要更多的试验次数。这种现象说明，网络具有较强的适应性，能够处理不同因果性的刺激对。

在研究竞争性刺激对学习的影响时，我们发现，当多个刺激同时呈现时，网络能够区分出哪个刺激对US有更强的预测能力。这种现象表明，网络能够识别出哪些刺激是真正的预测者，而哪些只是偶然的关联。这种能力在生物学中是重要的，因为它允许网络在面对复杂刺激环境时，能够准确地识别出哪些刺激对行为有影响。

在研究模型的局限性时，我们发现该模型无法解释自发恢复现象。自发恢复是指在条件反射后，动物在没有US的情况下，仍然能够表现出与US相关的反应。这可能是由于模型中未包含抑制性神经元，而抑制性神经元在解释自发恢复中起着重要作用。因此，未来的研究可以考虑在模型中加入抑制性神经元，以更好地解释这种现象。

总的来说，本文提出的RNN模型能够生成一系列条件反射现象，并且在不依赖参数微调的情况下，能够学习大量的关联。这表明，该模型具有较强的适应性和灵活性，能够处理复杂的刺激环境。同时，模型中的归纳偏置，如混合刺激表示和两室结构，使得网络能够更高效地学习和存储信息，从而在生物学约束下实现优化的认知功能。