当人工神经网络花时间不学习时，它们学得更好

“机器人”也需要睡眠。

　　

根据年龄的不同，人类每24小时需要7到13小时的睡眠。在这段时间里，会发生很多事情:心率、呼吸和新陈代谢的起伏;荷尔蒙水平调整;身体放松。大脑里就没那么多了。加州大学圣地亚哥医学院的医学教授、睡眠研究员Maxim Bazhenov博士说:“当我们睡觉时，大脑非常忙碌，不断重复我们白天学到的东西。睡眠有助于重组记忆，并以最有效的方式呈现它们。”

在之前发表的论文中，Bazhenov和他的同事报告了睡眠是如何建立理性记忆的，即记住物体、人或事件之间任意或间接关联的能力，并防止遗忘旧记忆。

人工神经网络利用人脑的结构来改进从基础科学和医学到金融和社交媒体的众多技术和系统。在某些方面，它们取得了超人的性能，比如计算速度，但它们在一个关键方面失败了:当人工神经网络按顺序学习时，新信息会覆盖之前的信息，这种现象被称为灾难性遗忘。

Bazhenov说:“相比之下，人类的大脑会不断地学习，并将新数据整合到已有的知识中。当新的训练与巩固记忆的睡眠时间交织在一起时，它的学习效果通常最好。”

资深作者Bazhenov及其同事在《公共科学图书馆计算生物学》(PLOS Computational Biology) 2022年11月18日的期刊上讨论了生物模型如何帮助减轻人工神经网络中灾难性遗忘的威胁，提高它们在一系列研究兴趣领域的效用。科学家们使用了人工模拟自然神经系统的峰值神经网络:信息不是连续通信的，而是在特定时间点以离散事件(峰值)的形式传输的。他们发现，当峰值网络被训练完成一项新任务，但偶尔有模拟睡眠的离线时间时，灾难性的遗忘得到了缓解。该研究的作者说，就像人类的大脑一样，网络的“睡眠”使它们能够在不明确使用旧训练数据的情况下重放旧记忆。

记忆在人脑中是通过突触权重(两个神经元之间连接的强度或振幅)模式来表示的。

Bazhenov说:“当我们学习新信息时，神经元会以特定的顺序激活，这增加了神经元之间的突触。在睡眠期间，我们在清醒状态下学到的峰值模式会自发地重复。这叫做再激活或重放。突触的可塑性，即被改变或塑造的能力，在睡眠期间仍然存在，它可以进一步增强代表记忆的突触权重模式，帮助防止遗忘或使知识从旧任务转移到新任务。”

当Bazhenov和他的同事将这种方法应用到人工神经网络时，他们发现它帮助网络避免灾难性的遗忘。

“这意味着这些网络可以像人类或动物一样持续学习。了解人类大脑在睡眠中处理信息的方式有助于增强人类主体的记忆。增强睡眠节奏可以提高记忆力。在其他项目中，我们使用计算机模型来开发在睡眠中应用刺激的最佳策略，如听觉音调，以增强睡眠节奏和提高学习能力。当记忆不是最佳状态时，这可能特别重要，比如当记忆随着年龄增长或在某些情况下，如阿尔茨海默氏症。”

Ryan Golden, Jean Erik Delanois, Pavel Sanda, Maxim Bazhenov. Sleep prevents catastrophic forgetting in spiking neural networks by forming a joint synaptic weight representation. PLOS Computational Biology, 2022; 18 (11): e1010628 DOI: 10.1371/journal.pcbi.1010628

---