内源性预测误差驱动的想象学习：基于强化学习机制重塑社会偏好的神经证据

《Nature Communications》：Learning from imagined experiences via an endogenous prediction error

本研究揭示了仅通过想象经历即可引发内源性预测误差(PE)，进而驱动偏好学习的神经机制。研究人员通过fMRI结合计算建模发现，当想象与熟人的互动场景违反预期时，腹侧纹状体会产生PE信号，并通过与背内侧前额叶皮层(dmPFC)的功能连接更新人物表征价值。这项发表于《Nature Communications》的研究阐明了想象如何通过内源性RL机制塑造现实偏好，为理解模拟学习的计算神经基础提供了新视角。

　　

人类大脑最迷人的能力之一，是能够通过想象来模拟未来可能发生的事件。这种被称为情景模拟(episodic simulation)的认知过程，不仅帮助我们规划未来，还可能悄然改变着我们对周围世界的看法和偏好。传统观点认为，学习主要依赖于实际经历或观察他人——当预期与现实出现偏差时，大脑会产生预测误差(prediction error, PE)，驱动我们更新对事物价值的判断。但一个更加深刻的问题是：仅仅在脑海中想象的事件，是否也能触发类似的学习机制？

这项发表在《Nature Communications》上的研究给出了肯定答案。由Aroma Dabas和Roland G. Benoit领导的研究团队发现，即使完全依靠内部想象，大脑也能产生内源性预测误差，并通过与经验性学习相似的强化学习(reinforcement learning, RL)机制，重塑我们对熟悉人物的偏好。这一发现不仅拓展了对学习机制的理解，更揭示了想象在塑造社会偏好中的重要作用。

为了探究想象如何驱动学习，研究团队设计了一项精巧的功能磁共振成像(fMRI)实验。49名健康参与者首先提供了90位熟人的名单，并评估了对每个人的喜好程度。研究人员从中选出6位喜好度中性的人物，将其分为高奖励(HR)和低奖励(LR)两组。在fMRI扫描仪中，参与者反复在HR和LR人物之间做出选择，然后想象与所选人物在特定场景中的互动。关键设计在于，HR人物有80%的概率与愉快场景配对，而LR人物仅有30%的概率。每次想象后，参与者评估所想象互动的愉快程度，这作为奖励值的代理指标。

研究采用的主要技术方法包括：基于Rescorla-Wagner(RW)模型的计算建模分析、功能磁共振成像(fMRI)及其参数调制分析、表征相似性分析(representational similarity analysis, RSA)和心理生理交互作用(psychophysiological interaction, PPI)分析，以及基于神经特征的生动性解码。

情景模拟诱导偏好转变

数据分析显示，参与者逐渐形成了对HR人物的选择偏好。在整个实验过程中，选择HR人物的概率显著高于随机水平，表明情景模拟确实诱导了偏好学习。这种偏好转变被认为反映了对HR人物价值的正向更新。

模拟诱导的价值更新泛化至外部测量

为验证这种偏好转变是否反映真实的价值更新，研究人员比较了模拟任务前后对HR和LR人物的喜好度评分。结果发现，HR人物的喜好度在任务后显著增加，而LR人物无明显变化。更重要的是，模拟任务中获得的选择偏好与外部评分中的价值更新呈正相关，表明两者均反映了模拟诱导的价值更新。

强化学习模型最佳解释学习过程

研究团队测试了五种计算模型对行为数据的拟合优度。Rescorla-Wagner(RL)模型通过预测误差更新人物价值，最能解释参与者的试次间选择模式。模型比较显示，RW模型的拟合优度显著优于其他模型，包括选择核(choice kernel)模型、赢留输移(win-stay-lose-shift)模型等替代模型。

解码的情景模拟生动性

通过基于神经特征的生动性解码，研究发现HR条件下的模拟比LR条件下更为生动，且生动程度与情感体验强度相关。这表明学习确实由内部模拟的生动体验驱动，而非仅由外部场景线索引发。

内源性预测误差由腹侧纹状体介导

fMRI参数调制分析显示，腹侧纹状体的活动受试次间PE变化调制。这一效应在先验定义的腹侧纹状体感兴趣区内显著，全脑分析进一步在双侧伏隔核发现显著簇。探索性分析还识别出海马、腹内侧前额叶等脑区的参与。

纹状体-背内侧前额叶相互作用支持内源性强化学习

表征相似性分析表明，背内侧前额叶皮层(dmPFC)编码个体人物表征——想象同一人物时该脑区的活动模式相似性高于不同人物。同时，dmPFC活动还受RW模型估计的人物价值(Q)调制。心理生理交互分析进一步发现，PE越大，腹侧纹状体与dmPFC的功能连接越强，表明价值更新涉及两脑区间的相互作用。

这项研究揭示了内源性强化学习的基本原理：想象经历可与内部预期形成对比，从而诱发内源性预测误差。这种模拟学习由共享的计算和神经机制支持，其中腹侧纹状体介导预测误差信号，并通过与背内侧前额叶皮层的相互作用更新新皮层表征。该发现对理解多种心理过程具有重要意义——一方面，模拟学习作为一种不依赖新经历的强大学习机制，可帮助人们应对未来担忧并促进远见决策；另一方面，这种与环境反馈脱钩的学习机制也可能促成情感障碍的维持，如焦虑或抑郁个体的负性情感偏差可能通过模拟学习而强化。对内源性强化学习机制的深入理解，不仅拓展了对人类学习灵活性的认识，也为开发针对模拟相关心理障碍的干预措施提供了新思路。