重新认识清醒状态下的海马体重放：并非实时决策，而是离线学习 “幕后英雄”

《TRENDS IN Neurosciences》：Awake replay: off the clock but on the job

研究人员探究海马体重放作用，发现其在在线决策作用证据不足，更支持离线学习和记忆标记。

　　在神经科学领域，海马体一直是研究的热点区域，它在记忆和学习中扮演着至关重要的角色。其中，海马体中的重放现象更是引起了科学家们浓厚的兴趣。所谓海马体重放（hippocampal replay），就是神经元的一种自发重新激活模式，其会重复之前行为过程中出现过的神经活动序列 ，就好像大脑在 “回放” 过去的经历。

以往，科学家们普遍认为海马体重放具有双重功能：一是在清醒状态下辅助在线决策（online decision-making），帮助动物在当下做出更好的选择；二是在睡眠时进行离线记忆巩固（offline memory consolidation），将白天经历的信息转化为长期记忆储存起来。然而，随着研究的深入，这种观点开始受到质疑。一些实验结果表明，清醒状态下的重放与动物当下的决策行为之间的关系并不明确，这使得科学家们不得不重新审视海马体重放的真正作用。为了解开这个谜团，来自美国达特茅斯学院（Dartmouth College）的 Matthijs A.A. van der Meer 和英国伦敦大学学院（University College London）的 Daniel Bendor 等研究人员展开了深入研究，相关成果发表在《TRENDS IN Neurosciences》上。

在研究方法上，研究人员主要通过分析啮齿动物神经元集合的放电活动序列来直接研究重放现象。同时，他们还结合了强化学习（reinforcement learning）的理论和模型，从计算和理论的角度探讨海马体重放的功能。

关于清醒重放与在线决策的关系。研究人员从三个方面进行了探究。在重放内容与行为关系上，部分研究发现重放内容与动物后续轨迹存在对应关系，但也有研究出现矛盾结果，比如在八臂迷宫实验中，大鼠倾向于重放之前奖励的手臂而非当前奖励的手臂。在重放与任务表现关系方面，虽然有研究发现正确试验前的重放质量更高、SWRs 持续时间更长，但也有通过神经反馈增加 SWRs 数量却未提升行为表现的情况。而在干扰或增强 SWRs 对任务表现影响的研究中，关键实验未明确首次实验关键阶段表现是否受显著影响，且近期研究对清醒 SWRs 在决策中的作用提出质疑。综合来看，实验数据仅为清醒重放在线决策的作用提供了有限证据。

在强化学习与清醒重放的关系上，强化学习面临时间信用分配问题，而重放机制可通过模拟经验帮助解决该问题。就像 Rich Sutton 的 Dyna 模型，不仅能从直接经验学习，还能通过离线模拟学习，加快学习速度。在生物系统中，海马体重放可通过提供虚构经验，帮助大脑其他区域进行离线学习，更新奖励值，这种更新被称为 “贝尔曼备份（Bellman backup）”。并且，根据强化学习模型预测，重放会优先选择对未来决策最有用的学习更新，这一模式与前瞻性规划相似，但实际上重放的作用是训练海马体外的奖励表征，而非直接参与在线决策。

关于记忆巩固与清醒重放，在行为任务中，清醒重放轨迹通常源于动物当前位置，而睡眠重放更随机。大脑面临记忆筛选的难题，即记忆分诊（memory triage），需要选择优先巩固的记忆。研究发现，清醒重放可作为解决该问题的潜在机制，它能对皮质 - 海马回路进行 “标记（memory tagging）” 。更显著的经历会引发更多清醒重放事件，强化这种标记，进而增加睡眠重放的优先级。例如，大鼠在新颖线性轨道上多次奔跑时，清醒重放速率可能不变或下降，但累积事件数与后续睡眠重放速率及记忆巩固优先级相关。

此外，研究还探讨了重放优先化的机制。预测误差，如新奇刺激、奖励和情境的意外变化，会导致清醒重放速率增加。中脑多巴胺神经元在意外奖励或状态转变时会发生变化，多巴胺释放增强海马体重放，推测其增加了近期活跃位置细胞的潜在兴奋性。同时，表征变化，如新环境中神经元的重新分配、位置细胞场的变化等，也与清醒重放速率相关，可驱动重放优先级。

总的来说，该研究重新评估了海马体清醒重放的功能，发现其在在线决策方面的作用证据不足，更多地支持了其在离线学习和记忆标记方面的功能。这一研究成果为理解大脑的记忆和学习机制提供了新的视角，有助于进一步探究大脑如何处理和巩固信息，为未来相关领域的研究奠定了重要基础。未来，研究人员将进一步探索海马体重放与其他神经或行为因素的关系，明确记忆优先级标记在皮质 - 海马回路中的位置，以及清醒重放引起的塑性变化等问题，推动神经科学领域的不断发展。