眶额皮层通过信念更新实现隐藏状态推断的神经机制研究

《Neuron》：The orbitofrontal cortex updates beliefs for state inference

本研究针对大脑如何推断隐藏任务状态这一核心问题，通过行为学、药理学失活和电生理记录技术，揭示了眶额皮层(OFC)在更新主观信念以进行状态推断中的关键作用。研究发现，训练有素的大鼠能够快速推断隐藏奖励状态并调整行为，而OFC失活会损害信念更新过程。神经动力学分析进一步表明，OFC神经元群活动反映了推断出的状态信息。该研究为理解高级认知功能的神经基础提供了重要见解。

　　

在复杂多变的环境中生存，动物不能仅仅依赖简单的刺激-反应关联，而必须进行概括和推断——这是神经系统最重要且最有趣的认知操作之一。当任务应急情况部分可观察时，啮齿类和灵长类的眶额皮层(OFC)被认为在状态推断中发挥作用，但OFC局部环路动力学如何支持状态推断仍不清楚。统计推断涉及计算和组合信念分布，即基于观察和假设状态的概率分布。虽然在感知和感觉运动领域，研究人员在描述信念的神经表征方面取得了进展，但神经回路如何计算和表征对环境中抽象、潜在状态的主观信念，这一根本问题尚未解决。

为了探究这一科学问题，纽约大学的研究团队在《Neuron》上发表了最新研究成果。研究人员训练大鼠执行一项时间权衡任务，其中包含隐藏的奖励状态。通过结合高水平的行为学测量、大规模数据集、神经扰动和记录技术，他们发现训练有素的大鼠会使用状态推断策略来决定等待奖励的时间，而OFC的失活会损害关于任务状态的主观信念更新。

研究采用的主要技术方法包括：高通量大鼠行为训练系统、基于Neuropixels探针的多通道在体电生理记录、OFC药理学失活（Muscimol）技术、张量成分分析(TCA)和分层线性动力学系统(hLDS)模型等计算方法分析神经群体动力学。研究队列包含349只Long-Evans大鼠的行为数据和35只大鼠的神经电生理数据。

行为证据支持状态推断

研究人员设计的时间权衡任务中，大鼠通过音调提示获得不同体积的水奖励(5、10、20、40和80μL)，奖励随机分配到一个端口，由LED指示。大鼠可以等待不可预测的延迟来获得奖励，或者随时通过探查另一个端口来选择退出。任务包含潜在结构：大鼠经历提供低(5、10或20μL)或高(20、40或80μL)奖励体积的区块，这些区块与提供所有奖励的混合区块交替出现。

训练有素的大鼠在每个区块中调整等待奖励的时间，平均在高区块中等待20μL奖励的时间比在低区块中少10%。专家大鼠的等待时间行为可以通过推断策略很好地捕捉，在这种策略中，它们推断奖励区块并使用基于该状态推断的固定机会成本估计。行为动力学分析表明，大鼠在区块转换处的行为变化与推断模型预测一致，而与除法归一化等替代策略不符。

OFC失活损害信念更新

为了确定OFC动力学对状态推断的因果作用，研究人员向侧眶额皮层(LO)进行双侧Muscimol输注。同时进行的电生理记录证实，Muscimol在输注部位1.25毫米内完全抑制了神经活动。

失活OFC损害了大鼠对隐藏状态的敏感性：在控制会话中，动物在不同区块间强烈调节等待20μL的时间；Muscimol减少了这种调节。此外，Muscimol使大鼠在区块转换处调整等待时间的速度变慢。在控制会话中，对隐藏奖励状态的敏感性在高和低区块的早期和晚期都很显著，这与基于状态推断的快速行为调整一致。然而，在Muscimol会话中，情境效应仅在区块结束时才明显。这些结果表明，失活OFC降低了对隐藏状态的敏感性，并减缓了状态转换时的行为变化。

单个神经元反映推断状态

研究人员在训练有素的大鼠的LO中使用慢性植入的Neuropixels探针进行电生理记录。为了确定OFC中的神经元是否反映推断的状态转换，他们重点关注在转换到混合区块后，不一致试验前后提供20μL的试验。

研究人员首先选择在高和低区块中放电率显著不同的神经元。然后比较这些神经元在不一致试验前后20μL试验中的平均Z-score放电率。正如预期的那样，神经元在不一致试验之前表现出不同的放电率，大概是因为大鼠假设自己处于神经元的偏好或非偏好区块。然而，在不一致试验之后，20μL试验上的放电率收敛到一个共同值，而不考虑之前的区块，这与大鼠推断转换到一个共同的混合区块一致。

潜在神经因子反映推断

由于确定提供的价值需要整合多个时间尺度，研究人员开发了一个概率分层线性动力学系统(hLDS)模型，明确考虑多个相互作用的时间尺度。该模型假设一个一维的慢速潜在神经因子(z_k)在单个试验的分辨率上运行，而试验内的快速动力学由快速潜在因子(y)总结。

该模型可以预测保持测试神经元的放电率，并且比维度匹配的标准卡尔曼滤波器能更好地解释时刻间的神经反应，表明分层结构是任务期间OFC动力学的关键特征。慢速潜在因子z_k反映了个别会话中的隐藏奖励区块，并且包含关于区块的显著互信息。当与混合区块中的不一致试验对齐时，平均z_k潜在因子在不一致试验之前显示出明显的分离，然后在该试验时或之后急剧收敛到一个共同值。

训练过程中的不同策略

研究人员分析了大鼠首次经历区块的前15个会话的行为。即使在这些会话中，等待时间也显示出适度但显著的区块敏感性。然而，区块转换处的行为动力学与广泛训练后相比在质量上不同，表明存在不同的心理机制。

早期在训练中，虽然大鼠在转换到高或低区块时表现出等待时间的微弱变化，但在转换到混合区块时行为变化不太明显。相反，最显著的特征是等待时间的偏移或"DC偏移"持续到混合区块中，表明奖励历史的长时间尺度整合。与专家相比，训练早期，大鼠的等待时间表现出显著的区块内动力学，暗示对区块的逐渐调整。

神经动力学反映区块结构学习

研究人员从大鼠首次经历区块时开始记录OFC活动。为了量化奖励编码，他们计算了混合区块中小体积(5/10μL)与大体积(40/80μL)试验反应的平均可辨别性指数(d')。专家大鼠在所有任务事件中表现出更多的体积编码神经元和更高的d'值。

研究结果表明，来自行为、扰动和神经记录的多条证据表明，训练有素的大鼠在决定等待奖励的时间时会推断隐藏的奖励状态。状态推断的神经特征在单个神经元水平和群体水平的潜在神经因子中都有体现。OFC失活会减少对隐藏状态的敏感性，并减缓状态转换时的行为变化，表明OFC通过基于经验更新主观信念来支持隐藏状态推断。

状态推断的神经相关性在专家大鼠的OFC中被独特观察到，而不是全皮质范围的现象。皮质神经元对多种任务变量的组合做出反应。在运动系统的研究中，单个神经元的异质性源于神经元对支持神经计算的群体水平潜在因子的可变贡献。虽然运动皮层的神经计算可以合理假设，但在认知任务中，通常有许多数量和抽象关系需要计算。混合选择性理论认为，单个神经元中的多样化反应允许下游电路根据变化的任务需求灵活解码不同变量。

总之，这项研究确定了推断的神经相关性，并表明这些动力学因果地更新了对环境中抽象、潜在状态的信念分布。研究结果为了解高级认知功能背后的神经计算提供了重要见解，并为理解大脑如何执行复杂推断过程奠定了基础。该研究通过结合多学科方法，揭示了OFC在支持状态推断中的特定计算作用，为未来研究认知过程的神经机制提供了新方向。