在负强化学习的不同阶段，多巴胺神经元活动的动态变化及其可塑性

《Proceedings of the National Academy of Sciences》：Dynamic changes of dopamine neuron activity and plasticity at different stages of negative reinforcement learning

多巴胺能神经元在负强化学习中通过动态调整活动模式编码奖励预测误差，发现其内在兴奋性和突触传递受刺激终止预期影响，为成瘾、焦虑等疾病治疗提供新机制。

　　

重要性

在中脑多巴胺能神经元在负强化学习（NRL）过程中编码奖励预测误差（RPE）信号方面，其关键作用仍不甚明了。本文揭示了这些神经元如何根据厌恶刺激动态调整自身活动，强调了随着学习进展，神经反应从刺激开始到刺激结束的转变。我们的研究发现表明，SNc（黑质致密部）多巴胺能神经元的内在兴奋性和突触动力学不仅受到厌恶刺激的影响，还受到对这些刺激终止方式的预期影响。这些发现有助于我们更深入地理解多巴胺信号如何反映奖励和厌恶的细微差异，对揭示成瘾、焦虑和抑郁等疾病的神经机制具有重要的意义。

摘要

研究表明，中脑多巴胺能神经元负责编码与正强化学习相关的奖励预测误差（RPE）信号。然而，关于多巴胺在负强化学习（NRL）中的作用的研究较少。学会逃避厌恶刺激对生存至关重要，其行为和神经机制可能与正强化学习存在显著差异。本研究采用足部电击作为厌恶刺激，通过光纤光度测量和离体电生理学方法，探讨了NRL范式中的神经活动、突触传递和内在兴奋性。结果表明，不可避免的足部电击最初会增加SNc多巴胺能神经元的活动，但随着暴露时间的增加，这种活动模式会转变为反映电击终止的过程。电生理观察显示，SNc神经元的内在兴奋性和兴奋性突触传递增强，而抑制性传递减弱。当小鼠通过用鼻子触碰电击源学会逃避电击后，多巴胺能神经元的活动模式从电击终止阶段转变为电击开始阶段。此外，学习后抑制性输入增加，而兴奋性输入减少，内在兴奋性恢复到基线水平。这表明SNc多巴胺能神经元在面对厌恶刺激时表现出类似RPE的信号，并且其内在兴奋性会根据对电击终止的预期进行调整。这些发现有助于我们更好地理解负强化学习中的RPE编码机制，可能为治疗由厌恶刺激等环境因素引起的疾病提供理论依据。