突触修剪有助于在线贝叶斯模型的选择

《Neural Networks》：Synaptic pruning facilitates online Bayesian model selection

Ukyo T. Tazawa and Takuya Isomura提出了一种基于贝叶斯推断的突触修剪机制（BSyMP），通过动态调整连接参数实现模型结构学习。该模型通过最小化变分自由能，在线选择必要突触连接，数学证明其能高效消除冗余连接。数值实验表明，BSyMP在盲源分离任务中成功率达92.3%，显著优于传统贝叶斯模型缩减（BMR）的46.7%。在规则学习任务中，BSyMP成功预测隐藏状态的准确率提升至82.3%，验证了其通过结构学习提升泛化能力。研究为理解大脑结构学习机制提供了新视角。

　　在自然界和机器学习中，识别合适的结构对于构建生成模型或世界模型至关重要。本文提出了一种基于神经网络的统计结构学习方法，通过突触修剪实现高效的模型构建。我们扩展了之前建立的典型神经网络模型，推导出一种突触修剪方案，该方案在形式上等同于在线贝叶斯模型选择。这种方案被称为贝叶斯突触模型修剪（BSyMP），它利用连接参数来控制突触连接的有无状态。数学分析表明，这些参数会收敛到零，从而提供可靠且高效的模型缩减。这使得环境模型的结构能够被识别，尤其是在环境特征表现为稀疏似然矩阵和转移矩阵的情况下。通过因果推理和规则学习的模拟实验，我们证明了BSyMP在模型缩减效率上优于传统的贝叶斯模型缩减方案。这些发现表明，突触修剪可能是大脑结构学习和泛化能力的神经基础。

结构学习在生物学中是一个重要的研究领域，生物体通过推断外部环境的潜在结构来感知周围世界。尽管结构学习的重要性已被广泛认可，但其在大脑中的神经机制仍不完全清楚。突触修剪是神经网络结构形成过程中的一种现象，它通过去除不必要的连接来优化网络结构。多个计算研究已经探讨了突触修剪在记忆和学习中的优势。然而，对基于生物学的突触修剪与信息理论推导的结构学习之间的关系进行分析仍然需要进一步研究。

本文基于自由能原理，该原理在理论神经科学中被提出，以解释大脑的各种功能，包括感知、学习和行动，这些功能都可以被理解为最小化变分自由能。自由能原理将大脑建模为一个执行外部状态和参数变分贝叶斯推断的代理。这些推断依赖于一个生成模型，该模型描述了外部环境中潜在变量如何生成感官输入。最近的研究表明，具有某种生物学合理性的典型神经网络的动态可以被理解为隐式生成模型下的变分贝叶斯推断。这为研究生物合理神经网络的功能特性提供了可解释性。此外，贝叶斯推断可以用于选择模型结构，但其神经基础尚未明确。

本文显示，生物合理的突触修剪可以以贝叶斯最优的方式促进结构学习。我们扩展了之前建立的神经网络与贝叶斯推断之间的等价性，从而推导出一种突触修剪方案，该方案等同于在线贝叶斯模型选择。BSyMP采用了一组连接参数，使网络参数能够在存在（ON）和不存在（OFF）状态之间切换。这些连接参数，除了状态和其他参数外，通过最小化变分自由能进行更新。变分自由能等同于典型神经网络的成本函数。因此，BSyMP通过变分贝叶斯推断对生成模型的超参数或连接参数进行优化，从而实现模型结构的优化。数学分析表明，BSyMP能够保证修剪那些对于传播隐藏状态信息不必要的参数，从而实现高效的模型缩减。

我们比较了BSyMP与之前提出的贝叶斯模型缩减（BMR）方法的性能。BMR通过后处理方式减少学习模型中的参数数量，以最小化变分自由能。由于BSyMP具有在线和连续（即逐步）的修剪特性，在因果推理和规则学习的数值模拟中，BSyMP表现出优于BMR的性能。BSyMP能够在BMR和完整模型都失败的情况下仍能取得成功结果。最后，我们讨论了可能实现突触修剪的神经基础。

在方法部分，我们考虑了传统典型神经网络的扩展，通过引入表达突触连接存在（ON）或不存在（OFF）的概率连接参数，使网络能够更直观地建模突触修剪过程。这些参数是通过将神经网络的动态与变分贝叶斯推断联系起来而建立的。我们推导了网络成本函数，并将其与变分自由能联系起来。在这一过程中，我们利用了变分贝叶斯推断的近似方法，如均场近似，以简化推断过程。我们进一步分析了这些参数如何影响网络的动态，以及如何通过最小化变分自由能来更新这些参数。

在结果部分，我们通过盲源分离（BSS）任务和规则学习任务评估了BSyMP的性能。在BSS任务中，BSyMP能够有效减少冗余连接，从而显著提高任务性能。而在规则学习任务中，BSyMP也表现出更优的性能，因为它能够更精确地修剪那些“假阳性连接”。这些结果表明，BSyMP不仅在模型缩减方面优于传统的BMR方法，而且在实际应用中表现出更高的鲁棒性和效率。

在讨论部分，我们进一步探讨了BSyMP的生物学合理性。突触修剪在大脑中是一种常见的现象，其神经基础涉及突触可塑性，如长期增强（LTP）和长期抑制（LTD）。BSyMP利用突触连接参数来计算突触存在的概率，并通过比较突触强度（即过去神经活动的历史）与当前神经活动来决定哪些突触需要被修剪。这与实验中观察到的LTP、LTD和突触修剪在生理特性和分子机制上的相似性相一致，进一步支持了我们模型的生物学合理性。

此外，我们对比了BSyMP与早期的修剪方法。传统方法通常基于突触权重的大小来修剪连接，而BSyMP则利用时间一致性，通过比较突触强度与当前神经活动来组织网络结构。这种方法能够使神经网络自发检测神经活动的统计特性变化，从而灵活地重组网络结构，以适应环境变化。这可能是大脑网络结构动态变化的机制解释。同时，大多数修剪方法，包括BMR，都采用二元方式修剪突触，其过程涉及一些启发式规则。BSyMP则通过计算突触存在的概率，以连续（即可微）的方式修剪突触，从而实现随机梯度下降。这种方法在形式上源于变分自由能最小化，从而比二元方法更精确地实现修剪。这是BSyMP相对于启发式方法的一大优势。

最后，结论部分总结了本文的主要发现。我们推导出了一种可靠的在线贝叶斯模型选择方案BSyMP，该方案可以由具有突触修剪的典型神经网络实现。数学分析表明，BSyMP能够保证对生成模型中不必要的连接进行修剪。数值模拟结果表明，BSyMP在盲源分离和规则学习任务中优于传统的BMR方案。这些发现表明，突触修剪可能是大脑结构学习和泛化能力的神经基础。