从视觉皮层解码注意力：基于功能性磁共振成像（fMRI）的人类显著性图谱预测

《Pattern Recognition Letters》：Decoding attention from the visual cortex: fMRI-based prediction of human saliency maps

高分辨率空间注意图可通过3T fMRI信号解码，早期视觉皮层（V1-V4）贡献最大，高阶区域效果较弱，验证了fMRI在自然图像中的实用性。

　　研究者Salvatore Calcagno、Marco Finocchiaro、Giovanni Bellitto、Concetto Spampinato以及Federica Proietto Salanitri来自意大利卡塔尼亚大学的PeRCeiVe实验室。他们发表了一项关于如何通过脑活动建模视觉注意力的研究，旨在揭示人类视觉系统中空间显著性是如何被编码的。这项研究首次展示了如何直接从3T功能性磁共振成像（fMRI）信号中解码高分辨率且经过行为验证的空间注意力图，为探索自然观察条件下的显著性神经基础提供了新的工具。

视觉注意力的建模是计算神经科学和计算机视觉领域的重要课题之一。长期以来，研究人员致力于理解大脑是如何处理和分配视觉注意力的。视觉注意力通常通过眼动追踪技术中的注视点来测量，而这些注视点背后则涉及复杂的神经机制。尽管计算模型在预测视觉注意力方面取得了显著进展，从早期基于对比度的模型到现代基于深度学习的方法，但目前仍然不清楚是否可以通过直接分析脑信号来重建与人类眼动相符的空间注意力图。传统方法多以预测注视点为目标，而较少关注如何从脑信号中推断出完整的空间注意力模式。

从神经科学的角度来看，视觉显著性是由自下而上的感觉特征和自上而下的调控机制共同作用的结果。自下而上的显著性主要来源于图像中的基本属性，如亮度、方向和颜色等，而这些特征在早期视觉区域（如V1至V4）中被编码。研究表明，这些区域的活动与计算模型生成的显著性图之间存在显著相关性。相比之下，高级视觉区域，如侧枕皮层（LOC）、梭状回面孔区（FFA）和海马旁回位置区（PPA），主要负责特定类别内容的编码，并受到任务相关性和注意力需求的影响。此外，前额叶和皮下结构，如上丘和外侧膝状体，也参与了显著性计算，但这些区域的信号在常规fMRI中更难解码。

近年来，一些fMRI解码研究关注于物体识别或自然图像重建，但较少涉及将脑活动与空间注意力图直接联系起来。例如，O’Connell和Chun的研究表明，fMRI信号与隐性注意力和显性注意力之间存在相关性，但他们的解码结果是间接的，基于卷积神经网络（CNN）预测的显著性图，而非实际的人类行为数据。其他整合fMRI与眼动追踪的研究则表明，眼动相关的信号确实存在于脑活动之中，但未能实现高分辨率的注意力图重建，也没有对视觉层次结构中的空间编码进行系统分析。

在本研究中，研究团队通过提出一种两阶段的解码架构，尝试解决这些限制。他们首先利用学习得到的线性映射，将特定区域的多变量体素响应映射到紧凑的特征空间，然后通过带有残差和注意力机制的卷积解码器进行上采样，从而生成高分辨率的空间显著性图。这种方法的关键在于，它不仅依赖于计算模型的预测，而是直接从脑信号中重建出经过行为验证的空间注意力图，使得解码结果更加贴近人类的实际行为。

为了验证该方法的有效性，研究团队使用了Generic Object Decoding（GOD）数据集，该数据集提供了五位健康成年受试者在被动观看自然图像时的3T fMRI记录。这些图像来自200个ImageNet类别，每个受试者在训练阶段观看1200张图像（每个类别8张），而在测试阶段则面对50个未在训练中见过的类别。研究团队还收集了20位受试者在这些图像上的眼动追踪数据，从而获得了用于评估的准确注视点图。

研究结果显示，从视觉皮层活动解码出的空间显著性图与人类的注视点之间存在显著相关性，这表明注意力相关的空间信息确实存在于fMRI信号中。解码效果在早期视觉区域（特别是V1至V4）中最为显著，说明低级皮层在表示空间显著性方面起着主导作用。相比之下，高级视觉区域虽然也支持解码，但其效果相对较弱，但仍高于随机基线。这一发现进一步支持了早期视觉皮层在编码空间显著性中的关键作用，并为在自然观察条件下基于脑活动的注意力建模提供了实用的框架。

此外，研究团队还指出，尽管他们的方法在准确度上不如基于图像的模型，但仅凭fMRI信号仍然能够恢复出具有行为意义的注意力图。这为未来研究提供了新的思路，即如何利用脑信号直接解码注意力模式，而不仅仅是预测注视点。通过这种方法，研究者可以更深入地理解显著性是如何在大脑中被编码的，同时也为开发新的脑机接口技术提供了理论支持。

研究团队还强调，他们提出的方法在多个方面具有创新性。首先，他们首次证明了高分辨率、经过行为验证的空间注意力图可以仅通过3T fMRI信号进行解码。其次，他们设计了一种两阶段的解码架构，将体素级别的活动映射到空间显著性分布。第三，他们系统地量化了不同视觉区域对注意力解码的贡献，发现早期视觉区域（V1至V4）在重建准确性方面表现最为突出。这些贡献不仅推动了视觉注意力研究的发展，也为未来的脑信号解码方法提供了参考。

总体而言，这项研究为理解视觉系统如何处理空间显著性提供了新的视角，并展示了基于fMRI的注意力解码方法在自然观察条件下的可行性。研究团队的成果表明，视觉注意力不仅仅是一个简单的预测任务，而是一个可以通过脑信号直接解码的复杂过程。通过这种解码方法，研究者可以更深入地探索大脑在处理视觉信息时的内部机制，从而为认知科学和神经工程学的发展提供新的工具和方法。