人类杏仁核和海马体中物体表征和记忆的神经元代码

　　

人类杏仁核和海马体中物体表征和记忆的神经元编码

摘要：大脑如何编码、识别和记忆一般视觉物体是神经科学中的一个基本问题。在此，研究人员通过在四项实验中记录人类杏仁核和海马体中的 3173 个单神经元活动，探究了视觉物体感知和记忆背后的神经过程。研究人员采用了被动观看和识别记忆任务，涉及一系列多样化的自然物体刺激。研究结果揭示了一种针对一般物体的基于区域的特征编码方式，其中神经元在高级视觉特征空间中表现出感受野。这种编码可以通过独立的新刺激进行验证，并且在所有实验中都能重复出现，包括对大型自然场景图像进行基于注视点的分析。这种区域编码解释了长期存在的视觉类别选择性，优先增强了对编码刺激的记忆，预测了记忆表现，编码了图像的可记忆性，并且与记忆情境存在复杂的相互作用。总之，基于区域的特征编码为人类大脑中的视觉物体处理提供了一个重要机制。

认知神经科学中的一个关键挑战是理解物体识别过程，即给不同的视觉形式赋予独特身份标签的过程。为了实现这一目标，视觉信息必须转化为可检索的记忆。人类杏仁核和海马体在识别记忆中起着至关重要的作用，其中的神经元能够信号刺激是新颖的还是熟悉的。特别是多年来，人类杏仁核和海马体中的神经元一直与视觉物体和面孔的类别特异性编码相关联，并且以分层方式组织。这些类别选择性概念神经元形成了对物体的高度选择性（稀疏）表征，被视为陈述性记忆的基石。

然而，目前在很大程度上仍不清楚这种稀疏表征在杏仁核和海马体中是如何形成的，以及视觉信息处理与记忆之间是如何关联的。高级视觉皮层中的神经元对诸如面孔和物体等复杂视觉刺激做出反应，并展示出基于特征的物体编码。根据这个模型，物体是由广泛分布的神经元群体来表征的。在一种特定形式的基于特征的编码，即基于轴的特征编码中，视觉皮层神经元或体素在特征空间中沿着特定轴与视觉特征呈参数相关。杏仁核和海马体中的神经元可能接收这种经过高度处理的视觉信息作为输入，并形成刺激的高级视觉表征。这些类别选择性神经元被假设为代表语义记忆，而语义记忆反过来又构成了陈述性记忆的基础。在研究人员最近的研究中，已表明人类杏仁核和海马体中的一部分神经元对面孔表现出一种新的基于区域的特征编码。具体而言，基于在高级视觉皮层中编码的视觉特征，这些神经元在高级视觉特征空间中表现出感受野，使得它们对落入编码 / 调谐区域（即感受野）的刺激做出反应，从而在视觉特征编码和类别编码机制之间架起了一座桥梁。

在本研究中，研究人员旨在了解视觉信息处理与物体类别表征和识别记忆之间的联系。研究人员利用了涉及多种自然物体刺激的被动观看视觉工作记忆任务和识别记忆任务，并采用了物体空间方法，即使用深度神经网络（DNN）从单个图像中提取高级视觉特征，而不预先假设每个图像的类别成员身份。研究人员首先通过四项实验（两项被动观看、一项分阶段识别记忆和一项连续识别记忆）对基于区域的特征编码进行了推广和交叉验证，包括对大型自然场景图像中的视觉物体进行基于注视点的分析。基于这种通用的基于区域的特征编码，研究人员测试了两个主要假设：（1）基于区域的特征编码可以解释视觉类别选择性；（2）它可以预测记忆表现（即编码区域中的刺激优先被编码到记忆中）和图像可记忆性。最后，研究人员探索了这种编码在不同记忆情境中的灵活性。通过研究这些问题，研究结果在人类单神经元水平上为视觉信息处理和记忆之间提供了关键联系。

一、结果

（一）视觉物体的基于区域的编码

研究人员在 15 名神经外科患者（5 名男性；共 28 次实验；补充表 1）执行 1 - 回溯任务时，记录了他们杏仁核和海马体（统称为内侧颞叶 [MTL]）中的 1204 个神经元活动（“方法” 部分；准确率 = 81.42%±20.93% [各次实验的平均值 ± 标准差]）。参与者观看了来自 ImageNet 数据集的 50 个类别的 500 张自然物体图片（每个物体类别有 10 张不同的图片）。874 个神经元的总体平均放电率大于 0.15Hz，研究人员将分析限制在这一子集中的神经元，其中包括来自杏仁核的 477 个神经元、来自前海马体的 198 个神经元和来自后海马体的 199 个神经元（补充表 1；有关尖峰分类指标见补充图 1a - h，记录位置见补充图 1i）。

研究人员最近证明，人类杏仁核和海马体中的神经元对面孔表现出基于区域的特征编码，即这些神经元对落入特征空间特定区域的面孔做出反应。在本研究中，研究人员探索了这种在高级视觉特征空间中的基于区域的特征编码是否也适用于一般物体。与构建面孔特征空间类似，研究人员使用经过预训练的用于识别物体的深度神经网络（DNN）ResNet 的最后一个卷积层（Res5c），从呈现给患者的物体图片中提取视觉特征（使用其他物体识别 DNN，如 AlexNet，也能得到类似结果）。研究人员进一步使用 t - 分布随机邻域嵌入（t-SNE）降低 DNN 特征的维度，以构建一个二维特征空间（图 1a、b；使用 UMAP 或 PCA 进行降维也能得到类似结果；见 “方法” 部分）。该特征空间呈现出有组织的结构，同一类别的物体聚集在一起。特征维度 1 主要代表从人造物体到自然物体的转变（与参考文献 20 一致），而特征维度 2 主要捕捉物体大小的变化以及从室内物体到室外物体的转变。

然后，研究人员将给定神经元对每个物体的反应投影到特征空间中，通过将每个物体的反应幅度乘以其在特征空间中的相应位置，得到一个反应加权的二维特征图（图 1a、b 中间）。这表明，MTL 中的一部分神经元对在特征空间中聚集在一起的物体具有选择性，并对其中的特定区域进行调谐（图 1a、b 中间），这表明这些神经元对具有相似视觉特征的物体做出反应。研究人员将这类 MTL 神经元称为特征神经元。为了正式量化特征神经元的调谐（见 “方法” 部分；补充表 1），研究人员使用二维高斯核平滑离散放电率图，在二维特征空间中估计连续的尖峰密度图（图 1a、b 右上角），并使用置换检验（1000 次运行；图 1a、b 右下角）来识别尖峰密度显著高于随机水平的区域（图 1a、b 中的红色 / 青色轮廓；置换 P<0.01 且满足聚类大小阈值的像素被选为显著像素；对相邻显著像素进行进一步聚类校正后也能得到类似结果）。这个区域表明了神经元所调谐的特征空间部分。研究人员将这种特征神经元的编码称为基于区域的特征编码，因为它们对特征空间中的某个区域进行编码。在群体水平上，研究人员观察到大量的特征神经元（n=89，10.18%，二项式检验 P=1.60×10?1?；杏仁核和海马体神经元的细分见补充表 1）。特征神经元调谐区域覆盖的物体类别数量（5.45±2.56 [各神经元的平均值 ± 标准差]）和物体数量（21.52±9.72 [各神经元的平均值 ± 标准差]）表明了这些特征神经元在特征空间中的感受野大小。每个特征神经元的调谐区域覆盖了大约 1.75 - 9.64% 的特征空间，而观察到的特征神经元群体总体覆盖了大约 63.43% 的特征空间（图 1c）。

最后，值得注意的是，尽管量化是在 t-SNE 空间中进行的，但研究人员在 DNN 的全维空间中重复了结果（图 1d；双尾配对 t 检验：t (81)= - 3.43，P=0.0009，d=0.37，95% CI=[ - 0.0097， - 0.036]）。此外，研究人员发现，只有 3.20%（低于 5% 的随机水平）的杏仁核和海马体神经元表现出基于轴的特征编码（即编码 DNN 视觉特征线性组合的神经元；详见 “方法” 部分），这与研究人员之前对面孔神经元反应的研究报告一致。因此，与猕猴下颞叶（IT）皮层不同，人类 MTL 中的基于特征的编码主要是基于区域的，而不是基于轴的。

总之，研究结果表明，杏仁核和海马体神经元对一般物体表现出基于区域的特征编码。

（二）基于区域的特征编码是一种更全面的物体编码机制

物体的类别特异性编码是 MTL 神经元的一个标志。研究人员接下来研究了物体的类别特异性编码是否可以在特征编码框架内得到解释。值得注意的是，研究人员的分析并不要求类别编码和特征编码是分开的过程或不相关的；相反，研究人员探索了对长期存在的类别选择性现象更全面的解释。

研究人员观察到 MTL 神经元编码视觉物体的类别成员身份（图 1a、b）。为了对类别选择性神经元进行分类，研究人员首先使用单向（1×50）方差分析来识别在刺激呈现后 250 - 1250ms 窗口内对不同物体类别反应存在显著差异（P<0.05）的神经元。研究人员施加了第二个标准来确定神经元对哪些类别有选择性反应（选定类别）：对该类别的神经反应要求至少比基线（相对于刺激呈现的 - 500 到 0ms）对所有类别的平均神经反应高 1.5 个标准差（SD）。使用这个既定的程序来选择类别选择性神经元，研究人员发现有 121 个神经元满足这两个标准（13.84%，二项式 P<10?2?；图 2a；杏仁核和海马体神经元的细分见补充图 2a、f），在这些类别神经元中，39 个仅对单个类别做出反应（这里称为单类别 [SC] 神经元），其余 82 个神经元每个都对多个类别做出反应（这里称为多类别 [MC] 神经元）。平均而言，MC 神经元编码 5.37±4.21 个视觉类别。特别是，研究人员发现 82 个 MC 神经元中有 45 个（54.88%；图 2a）对聚集在特征空间同一区域内的物体类别做出反应，这表明这些神经元编码具有相似视觉特征的物体类别。研究人员将这些神经元称为特征 MC 神经元。另一方面，其余的 MC 神经元编码的物体类别分布在特征空间中不同的、不属于同一区域的位置；研究人员将这些神经元称为非特征 MC 神经元（图 2a）。总之，SC 神经元在特征空间中编码一个单一的窄峰，涵盖来自单个类别的物体；特征 MC 神经元在特征空间中编码一个单一的宽峰，涵盖来自多个类别的物体；非特征 MC 神经元在特征空间中编码多个单独的峰，每个峰涵盖来自不同类别的物体。值得注意的是，与整个神经元群体相比，特征神经元中类别选择性神经元的比例要高得多（89 个中有 56 个；62.92% 对比 874 个中有 121 个；13.84%；卡方检验：P<10?2?；图 2b；杏仁核和海马体神经元的细分见补充图 2b、g），这表明特征神经元更有可能是类别选择性神经元。接下来，研究人员在物体特征空间框架内分析了每组类别选择性神经元。

研究人员首先使用类别选择性指数分析每个神经元的类别选择性，该指数定义为最偏好和最不偏好类别之间的 d'（图 2c；SC 与非选择性：t (790)=7.60，P=8.64×10?1?，d=1.25，95% CI=[0.36，0.61]；MC 与非选择性：t (833)=7.22，P=1.16×10?12，d=0.84，95% CI=[0.24，0.42]），并分析了从最偏好到最不偏好类别的有序反应（图 2d）。正如预期的那样，与非类别选择性神经元相比，MC 神经元从最偏好到最不偏好类别显示出广泛显著的相对反应下降，而 SC 神经元从最偏好到最不偏好类别显示出更陡峭的变化（图 2d）。这种选择性在 SC 神经元中最偏好和第二最偏好刺激之间的放电率下降幅度比 MC 神经元更大上也很明显（图 2e；双尾两样本 t 检验：t (119)=2.24，P=0.03，d=0.43，95% CI=[0.008，0.12]）。研究人员进一步使用选择性深度（DOS）指数证实了这些结果（图 2f；t (872)=5.96，P=3.66×10??，d=0.58，95% CI=[0.06，0.12]）。此外，单试验群体解码显示，MC 神经元比 SC 神经元能区分更多的刺激（图 2g、h；注意，当研究人员在组间匹配神经元数量时也能得到类似结果）。单个特征 MC 神经元的调谐区域覆盖了二维特征空间的 2.15 - 9.64%（图 2i）。相比之下，单个 SC 或非特征 MC 神经元的反应在特征空间中覆盖的区域要小得多（图 2i；双尾两样本 t 检验：两者比较 P 均 < 0.0001）。这个结果是预期的，因为非特征 MC 神经元编码的物体类别（以及因此的调谐区域）彼此不连续且距离更远（图 2j）。总体而言，采样的特征 MC 神经元群体覆盖了二维特征空间的各个区域（图 2k；有些区域由多个神经元编码），这表明这些神经元编码了多种视觉特征。值得注意的是，SC 单元和 MC 单元具有相似的尖峰分类隔离距离（补充图 1h；t (82)=0.16，P=0.87，d=0.04，95% CI=[ - 0.27，0.32]），这表明 MC 单元不太可能是由几个 SC 单元组成的多单元。

重要的是，特征神经元可以解释那些无法用类别选择性解释的神经反应。具体来说，存在一些不是类别选择性神经元的特征神经元（图 2b）。首先，这些特征神经元编码来自多个类别的一部分图像，只要编码的物体具有相似的视觉特征（图 2l、m）。其次，特征神经元可能不会对同一类别的所有物体做出反应（图 2l - n）。这在 Microsoft COCO 数据集的情况下尤为明显（详见下文），该数据集每个物体类别包含 50 张图像（图 2n）。第三，有趣的是，在 “错误分类” 的情况下（即当一个物体图像基于视觉特征而不是类别成员身份进行聚类时），神经反应遵循特征而不是类别。例如，一张带有苹果图片的室内场景图像在类别上属于 “苹果”，但与 “椅子” 的室内场景图像聚类在一起，而不是与其他 “苹果” 图像聚类。一个对 “椅子” 做出反应的特征神经元对这张 “苹果” 图像也有升高的反应，但对其他 “苹果” 图像没有反应（图 2o）。因此，特征编码比类别选择性更能解释这些数据。

总之，这些结果表明，基于区域的特征编码可以作为一种更全面的物体编码机制。经典的对物体的类别特异性神经反应在很大程度上可以在基于区域的特征编码框架内得到解释（见 “讨论” 部分）。

（三）基于区域的特征编码的验证

研究人员进行了一项额外的实验，使用不同的刺激来验证基于区域的特征编码。研究人员在 13 名患者（18 次实验；放电率 > 0.15Hz：准确率 = 90.57%±12.25% [各次实验的平均值 ± 标准差]）中记录了 453 个神经元，使用来自 Microsoft COCO 数据集的物体刺激。研究人员应用 DNN AlexNet 来提取特征并构建特征空间。再次，研究人员发现有 61 个神经元（13.5%；二项式 P=1.19×10?12）在这个实验中表现出基于区域的特征编码（图 3a、b；杏仁核和海马体神经元的细分见补充图 2c、d、h、i）。

值得注意的是，有一部分神经元（453 个中的 152 个）同时使用了 COCO 和 ImageNet 刺激进行记录。因此，研究人员能够直接研究这些特征调谐在这两个任务之间的可推广性。在 ImageNet 和 COCO 刺激的共同特征空间中（不同特征空间构建下刺激表示的稳定性见补充图 3a、b），使用 COCO 刺激选择的 22 个特征神经元的调谐区域涵盖了 ImageNet 刺激。研究人员预测，位于 COCO 特征神经元调谐区域内的 ImageNet 刺激会比那些在调谐区域外的 ImageNet 刺激引发更强的反应。研究结果证实了这一假设（右尾配对 t 检验：t (21)=1.81，P=0.04，d=0.16，95% CI=[0.02，∞]；图 3c 为示例，图 3d 为组结果；使用来自同一数据集的训练和测试刺激的对照分析见补充图 3c - f [ImageNet 刺激见补充图 3c、d，COCO 刺激见补充图 3e、f]），这表明基于区域的特征调谐在不同图像集之间具有可推广性。

最后，研究人员在患者观看大型自然场景图像时，通过基于注视点的分析进一步验证了基于区域的特征编码（补充信息；