《Nature Neuroscience》多巴胺在不同脑区的波动

　　

先前的神经科学研究表明，大脑多巴胺的短暂增加是学习奖励和获得更多奖励的动机的关键信号。加州大学旧金山分校的研究人员进行了一项研究，探索纹状体特定亚区多巴胺的短暂增加，纹状体是大脑中支持基于奖励的学习和决策的一部分。

他们的研究结果发表在《Nature Neuroscience》杂志上，表明纹状体的三个不同部分的多巴胺短暂波动反映了不同时间范围内的奖励预测(即，分别是几分之一秒，几十秒和几百秒后)。

“多巴胺脉冲可能表明我们发现自己处于比预期更好的情况，因此我们之前对奖励的估计需要更新，”该论文的主要作者Josh Berke说。“这种‘奖励预测误差’理论非常有影响力，部分原因是它将大脑活动模式与机器学习中的某些计算联系起来，但这一理论的几个方面充其量是不完整的。”

Josh Berke和他的合作者最近的研究旨在解决“奖励预测错误”理论的两个问题。首先是对“奖励预测”这一术语的不明确定义，即没有明确何时会出现奖励(例如，在一秒内，一分钟内，一小时内等等)。

Josh Berke说:“第二个问题是，多巴胺信号最初被认为是在整个前脑均匀传播的，但最近的研究发现，大脑不同部位的多巴胺信号不同。”“那么，这是否表明我们需要许多不同的理论来解释这些不同的多巴胺信号?”

为了阐明奖励预测误差理论中不明确的方面，Josh Berke和他的同事们用一种最近开发的分子传感器在鼠身上进行了实验。这种传感器利用一种基因工程蛋白，当它与多巴胺结合时，会改变其荧光。

Josh Berke解释说:“我们在大鼠纹状体的三个不同区域部署了这个传感器，纹状体是接收最强多巴胺输入的大脑区域。这些不同的区域是大脑中不同的大规模回路的一部分，它们处理不同类型的信息。”

当鼠执行一系列行为任务时，研究人员通过分子传感器检测了多巴胺的波动。大鼠以不同的速度获得奖励，并听到暗示即将到来的奖励的不同延迟和概率的线索。

有趣的是，他们发现，在他们检查的三个纹状体亚区中，多巴胺的波动反映了鼠对奖励预期的不同时间尺度。

Josh Berke说:“在一个与运动控制最相关的区域，多巴胺经常波动，只有当奖励预测提示在不到一秒的时间内预测奖励传递时，对奖励预测提示的反应才会强烈。第二个纹状体区域似乎在几十秒内关心奖励，第三个区域在几百秒内关心奖励。我们认为奖赏预测的时间尺度可能有一个连续的梯度，涉及大脑中的平行回路。”

Berke和他的同事们揭示的不同的时间尺度和相关的纹状体亚区可以解释之前报道的令人困惑的实验观察，记录不同的多巴胺信号，所有这些都用一个单一的理论框架。此外，不同奖励预测时间尺度的存在可能支持在动物中观察到的一些复杂和明显不连贯的行为。

Josh Berke说:“例如，在唱歌时，移动我们的声带和听到愉快(或不愉快)的结果之间几乎没有时间间隔。这种反馈必须快速，才能有效地学习。然而，有时候我们做出了选择，却过了很长一段时间才知道结果。我们需要大脑机制来克服这个时间差距，以确定选择是否正确。”

这组研究人员收集的新见解可以帮助更好地理解纹状体亚区多巴胺瞬变与基于奖励的学习之间的联系。此外，它们还能揭示决策的一些基本过程。

Josh Berke解释说:“通常情况下，我们决定如何长期行动(例如，减肥)，但当面临直接选择时，我们不会采取相应的行动。这种不匹配长期以来一直被研究，并被认为是‘非理性的’。然而，这可能是多个决策子系统并行运行的必然结果，每个子系统都与未来的不同持续时间有关。随着潜在结果的时间越来越近，更多的子系统参与其中，并推动短期结果。”

这项研究可能很快就会为解释不同时间尺度下奖励预测的新理论模型的发展提供信息。与此同时，Berke和他的合作者计划在他们的发现的基础上进行进一步的实验，研究多巴胺信号及其与其他神经回路的相互作用。

“我们现在正在研究这些多巴胺信号如何与其他电路组件相互作用，作为对这些电路如何工作以及它们如何在成瘾，帕金森病和图雷特综合症等疾病中出错的更丰富理解的一部分。我们也有一个积极的项目，研究我们如何想象未来的可能性，并相应地调整我们的行为。”