编辑推荐：
多巴胺在强化学习中的作用一直备受关注，传统奖赏预测误差（RPE）理论难以完全解释其功能。为探究多巴胺在介导贬值（mediated devaluation）中的作用，研究人员开展相关研究。结果发现多巴胺可使奖赏的感觉特征贬值，该发现为理解多巴胺功能提供新视角，对神经精神疾病研究有重要意义。
在神经科学领域，多巴胺一直是研究的热点分子。长久以来，人们知道动物能依据过往经验预测未来奖赏，并通过奖赏预测误差（RPE）来调整这些预测。传统观点认为，中脑多巴胺细胞通过传递信息编码预测价值和预期价值之间的差异，这极大地增进了人们对多巴胺功能的理解 。然而近年来，越来越多的研究对 RPE 假说能否全面解释多巴胺在强化学习中的作用提出了质疑。因为多巴胺 RPE 编码反映的是一种价值信号，它并未考虑学习过程中所经历事件的详细特征，无法解释多巴胺在编码预测奖赏的感觉特征、刺激 - 刺激学习中的感觉误差以及奖赏感觉特征的意外变化等方面的必要性。而且，许多行为和决策并不依赖直接经验，这也超出了传统 RPE 理论的解释范畴。在这样的背景下，为了深入探究多巴胺在强化学习中更复杂的角色，来自密歇根州立大学（Michigan State University）等机构的研究人员开展了一系列研究 。
研究人员采用了多种关键技术方法。在动物实验方面，运用了光遗传学（optogenetics）和化学遗传学（chemogenetics）技术来操控神经元活动；通过纤维光度测定法（fiber photometry）动态追踪伏隔核（NAc）中多巴胺的释放；利用计算建模，应用后继表征（SR）模型对实验数据进行分析。在实验动物选择上，使用了 cfos - htTA 小鼠、TH - Cre 小鼠和野生型 C57BLJ 小鼠。
研究结果
- 利用表征介导学习使奖赏贬值：研究人员通过对小鼠进行巴甫洛夫训练（Pavlovian training），发现经过最少训练的小鼠在介导贬值实验中，蔗糖奖励的详细感觉特征被充分贬值，与生理盐水对照组相比，其感知到的甜度和适口性显著下降，这表明介导贬值现象成功实现。
- 腹侧被盖区（VTA）细胞的活动依赖性标记使蔗糖奖励贬值：在 CS 诱发的蔗糖奖励介导贬值过程中，对 VTA 细胞进行活动依赖性标记，并使用化学遗传学方法重新激活这些细胞。结果显示，重新激活这些细胞会减弱蔗糖消耗及其感知到的适口性，但不影响消耗蔗糖的动机。这表明 VTA 是编码蔗糖奖励详细特征的神经回路的一部分，其活动可以导致奖赏评估的长期变化。
- 腹侧被盖区（VTA）多巴胺细胞对蔗糖奖励的介导贬值既充分又必要：通过光遗传学刺激表达 Cre 重组酶的 TH 启动子控制下的小鼠（THCre小鼠）的 VTA 多巴胺细胞，发现这种刺激增强了蔗糖奖励的介导贬值，且该增强效应依赖于多巴胺 D2 受体的完整信号传导。相反，化学遗传学抑制 VTA 多巴胺细胞则会破坏介导贬值，表明多巴胺细胞活动对介导贬值至关重要。
- 追踪介导贬值奖赏记忆检索背后的伏隔核（NAc）多巴胺释放动态：运用纤维光度测定法发现，在消费测试中，当小鼠食用与 LiCl 配对的 CS 相关联的食物颗粒（其记忆已被贬值）时，NAc 中的多巴胺释放显著增加，这与之前的行为学发现一致，表明 NAc 多巴胺释放与奖赏记忆的检索和介导贬值相关。
- 使用后继表征（SR）模型对介导贬值和多巴胺活动进行建模：应用 SR 模型对介导贬值实验进行分析，该模型能够重现关键的实验结果，包括 CS 与 LiCl 配对后蔗糖消耗的减少、光遗传学刺激增强贬值效应、化学遗传学抑制减弱贬值效应，以及在贬值条件下消费测试中多巴胺传递增加等，准确地预测了多巴胺的操纵效果和活动特征。
在讨论部分，研究人员指出，这些发现揭示了中脑多巴胺细胞的新功能，它们能够调节对强化的详细特征的访问。与传统观点不同，多巴胺在介导贬值中的作用无法用标准 RPE 模型解释，其在介导贬值过程中涉及对详细感觉特征的编码和处理。此外，研究还发现 VTA 多巴胺细胞编码的详细强化信号部分传递到 NAc，且 VTA 多巴胺神经元刺激增强介导贬值的能力依赖于 D2R 激活，这表明多巴胺介导贬值的神经回路可能涉及 VTA 到 NAc 的 D2R 依赖性投射。研究中还观察到潜在的生物学性别差异，雄性小鼠似乎更容易受到介导贬值和 VTA 多巴胺细胞刺激效应的影响。不过，该研究也存在一些局限性，如部分实验采用单结果设计，使用的 THCre小鼠存在 Cre 重组酶异位表达的问题，以及 CNO 可能转化为氯氮平的潜在风险等 。
总体而言，这项研究为多巴胺在强化编码中的作用提供了新的见解，表明其在介导贬值中起着关键作用。这不仅有助于深入理解多巴胺的功能，还为神经精神疾病的研究提供了新的方向，例如与现实检验的神经精神内表型相关，有望通过调节中脑多巴胺来减弱与奖赏相关的记忆，从而为控制摄食行为和药物滥用提供潜在的干预手段 。
