类脑边界所有权信号：解锁自然视频预测的新密码

《iScience》：Brain-like border ownership signals support prediction of natural videos

在理解视觉场景时，大脑如何从背景中分割前景仍不明确。华盛顿大学的研究人员以 PredNet 神经网络为对象，研究边界所有权（BOS）信号。结果发现该网络中存在 BOS 单元，且对预测有重要作用。这为理解 BOS 神经元的产生机制提供了新视角。

　　在神奇的视觉世界里，我们每天都能轻松地识别出周围的物体，可大脑究竟是如何做到的呢？原来，在灵长类动物的视觉皮层中，有一群特殊的神经元 —— 边界所有权（BOS）神经元，它们就像一个个 “小卫士”，负责将前景从背景中区分出来。然而，BOS 信号究竟是在何种条件下出现的，一直是科学界的未解之谜。

此前的研究尝试在人工神经网络（ANNs）中寻找答案，但都存在各种问题。有的研究采用监督学习方法，需要大量明确的分割标签，这在大脑发育过程中是不现实的；有的研究虽然在无监督学习中发现了 BOS 信号，但只能处理简单的人工数据集，无法应对复杂的自然视觉输入。而且，现有研究都未能清晰地解释 BOS 信号在神经网络中的产生机制。

为了攻克这些难题，华盛顿大学（Washington University）的研究人员开展了一项极具意义的研究。他们将目光聚焦于 PredNet，这是一种受预测编码启发的深度神经网络，被训练用于预测自然视频中的下一帧画面。研究人员通过一系列实验，得出了令人惊喜的结论：PredNet 中存在大量具有 BOS 选择性的单元，这些单元与灵长类大脑中的 BOS 神经元有着诸多相似之处，比如对物体变换的鲁棒性、滞后现象等。更重要的是，消融实验表明，BOS 单元在预测视频帧时比非 BOS 单元发挥着更重要的作用。这一研究成果发表在《iScience》杂志上，为理解 BOS 神经元的产生机制提供了全新的视角。

在研究过程中，研究人员主要运用了以下几种关键技术方法：首先，利用 PredNet 神经网络进行视频预测训练，其架构包含四层，每层又有四个模块，通过对 KITTI 数据集的学习来优化网络；其次，采用类似神经生理学研究的方法，使用稀疏噪声刺激测量 PredNet 中单元的经典感受野（cRF）；最后，通过消融实验，对比消融 BOS 单元和非 BOS 单元对视频预测性能的影响。

下面让我们详细了解一下研究结果：

• BOS 信号在预测自然视频下一帧的人工网络中出现：研究人员通过类似神经生理学的实验方法，在 PredNet 中确定了 BOS 单元的存在。他们发现，在不同模块中，20%-40% 的候选单元具有显著的 BOS 响应，且这一比例在不同训练帧率下依然稳定。而当训练 PredNet 进行图像再现而非视频预测时，BOS 单元则很少出现，这表明视频预测任务对 BOS 单元的产生至关重要。
• PredNet 的 BOS 信号对自然物体变换中的常见场景变化具有鲁棒性：研究人员测试了 BOS 信号对物体方向、位置和大小变化的鲁棒性。结果显示，PredNet 中的 BOS 单元在面对这些变化时，表现出与灵长类大脑中 BOS 神经元相似的特性，其响应差异在不同条件下保持一致，说明 BOS 信号在处理复杂场景变化时具有稳定性。
• 非首选侧的物体碎片比首选侧更能抑制 BOS 单元：研究人员借鉴神经生理学实验方法，分析了物体碎片对 PredNet 中 BOS 单元的调制作用。他们发现，非首选侧的物体碎片对 BOS 单元的抑制作用更强，这与大脑中 BOS 神经元的情况类似。不过，PredNet 中的 BOS 单元与大脑神经元也存在差异，如在调制效果的符号上有所不同。
• BOS 单元表现出滞后现象：研究人员使用类似于生理学实验的刺激序列，发现 PredNet 中的 BOS 单元在刺激情境发生变化时，其 BOS 信号会持续一段时间，出现滞后现象。而且，这种持续信号具有特异性，与一般的信号衰减不同，反映了 BOS 信号在动态视觉处理中的特殊作用。
• 对于有移动对象的视频，BOS 单元比非 BOS 单元对预测的贡献更大：通过消融实验，研究人员发现，在处理有移动对象的视频时，消融 BOS 单元比消融非 BOS 单元会导致更大的预测误差。即使在训练过程中未接触过的多物体视频和自然视频中，BOS 单元依然对预测有更重要的贡献。

在研究结论与讨论部分，研究人员指出，BOS 单元在神经网络中出现，可能是因为它们对处理自然复杂动态输入特别有帮助，即使没有明确要求进行前景背景分割。这一发现暗示了 BOS 神经元在大脑中可能也参与了预测未来视觉输入的过程，挑战了传统认为 BOS 主要参与静态 “what 流” 操作的观点。此外，研究还表明，PredNet 的架构虽然与大脑存在差异，但可以作为研究 BOS 信号计算机制的有用工具，为进一步探索大脑视觉处理的奥秘提供了新的途径。总之，这项研究为理解大脑视觉处理机制和神经网络的发展提供了重要的理论依据，具有深远的意义。