101忠狗：典型发育与先天性感觉缺失多模态自然态fMRI数据集——揭示感官经验对人脑功能重塑的影响

《Scientific Data》：101 Dalmatians: a multimodal naturalistic fMRI dataset in typical development and congenital sensory loss

本研究针对先天性感觉缺失如何影响大脑功能组织这一关键科学问题，开展了基于自然态fMRI的多模态研究。研究人员通过让典型发育者、先天性盲人和聋人分别观看/聆听电影《101忠狗》的不同版本（视听/纯视觉/纯听觉），结合计算模型（VGG-19、VGGish、GPT-4嵌入）和人工标注的多层次特征提取，构建了标准化BIDS数据集。研究首次在先天性感觉缺失群体中验证了自然刺激下脑活动的跨被试同步性（ISC），为探索神经可塑性和多感官整合机制提供了重要资源，对理解人脑发育适应性具有里程碑意义。

　　

当我们欣赏电影时，大脑如何同步处理流动的画面、对白和音乐？对于先天失明或失聪的群体，他们的大脑会发展出怎样的代偿机制？这些涉及人类大脑发育和神经可塑性的根本问题，在传统简化的实验室环境中难以得到充分解答。近年来，神经科学领域逐渐转向使用自然刺激（如电影、叙事）来研究真实世界情境下的人类认知过程。这类自然范式能捕捉更生态、多维的数据，包括广泛的感官、认知、情感及社会输入，但其固有的复杂性和动态性也给方法学和分析带来挑战。尤其对于先天性感觉缺失群体，其大脑功能性组织在缺乏某种感官经验下如何发展变化，更是领域内亟待探索的前沿。

为此，由意大利IMT卢卡高级研究学院等机构的研究团队在《Scientific Data》发表了一项开创性工作，推出了名为"101 Dalmatians"的多模态自然态功能性磁共振成像（fMRI）数据集。该研究首次将典型发育个体与先天性感觉缺失（先天性盲人和聋人）群体置于统一的自然刺激范式下，通过多层次特征建模和标准化数据处理，为理解感官经验对人脑发育和功能适应的塑造作用提供了宝贵资源。

研究团队采用关键技术方法包括：使用3T fMRI采集50名参与者（分5组：典型发育-视听/纯听觉/纯视觉组、先天性盲人-纯听觉组、先天性聋人-纯视觉组）观看《101忠狗》电影时的脑活动数据；通过计算模型提取刺激特征（运动能量、VGG-19视觉特征、声谱功率、VGGish听觉特征、GPT-4语义嵌入）；进行人工标注（17类视觉/听觉类别和电影编辑特征）；采用标准化BIDS格式组织数据，并通过帧位移（FD）和跨被试相关（ISC）进行质量验证。

方法学构建与数据质控

研究设计精心区分了三种电影版本：完整的视听版（AV）、仅听觉版（A，包含叙述人旁白）和仅视觉版（V，含字幕）。所有参与者均接受fMRI扫描，同时收集高分辨率T1和T2加权结构像。数据预处理采用基于AFNI的最小化流程，包括去尖峰、头动校正、空间平滑等步骤，并将数据非线性配准至MNI标准空间。质控方面，平均帧位移为0.12±0.10毫米，仅少量时间点（5.7±12.6%）位移超过0.3毫米。行为问卷结果显示，参与者对电影情节理解准确率高（典型发育组85-90%，感觉缺失组76-87%），表明实验参与度和故事理解良好。

多层次刺激特征建模

研究对电影刺激进行了全面计算建模，涵盖从低阶到高阶的特征空间。视觉方面，低阶特征通过运动能量分析（基于Gabor滤波器的时空滤波器）提取，捕获快速变化的视觉信息；高阶特征利用VGG-19卷积神经网络提取，重点关注Conv3_1层（ReLU3.1激活）和fc6层（ReLu6激活）的输出，分别反映中低级空间统计和高级场景信息。听觉方面，低阶特征通过声谱功率分析（Welch功率谱密度估计）获取，高阶特征则采用VGGish模型（ReLu5.1层输出）捕捉声音的频谱、时间和语义维度。此外，利用GPT-4生成字幕的语义嵌入（1536维向量），为语言处理研究提供支持。

人工标注体系

研究还建立了细致的人工标注体系，由一名训练有素的评分者对电影内容进行逐秒标记。视觉标注包括12个类别（如动物、身体部位、面孔、房屋、物体、人物、车辆等），听觉标注包括5个类别。值得注意的是，视觉标注中特别区分了"面孔"（特写、面部特征清晰）和"人物"（全身或远景），这有助于精确建模面孔选择性与人物整体表征的神经响应。此外，还标注了电影编辑特征，如场景转换、镜头剪切、字幕、音频描述、对白和配乐等，这些特征反映了电影叙事结构对大脑活动可能的影响。

数据可用性与组织

所有数据（去标识的结构像、原始和预处理fMRI数据）均按脑成像目录结构（BIDS）组织，并公开可用。数据集包括参与者的人口统计学信息、原始和预处理功能像、计算模型特征文件和标注文件。

研究意义与展望

"101 Dalmatians"数据集通过将自然刺激范式与先天性感觉缺失模型相结合，为探索大脑功能组织的发展可塑性提供了独特窗口。其创新性体现在：首次在先天性感觉缺失群体中系统应用自然态fMRI；提供了从低阶感知到高阶语义的多层次刺激特征；建立了精细的人工标注体系；数据质量经过严格验证（ISC、FD）。该数据集有望推动对多感官整合、神经可塑性、跨模态代偿及自然情境下认知过程神经基础的深入研究。尽管存在组样本量相对较小、参与者年龄不完全匹配、单评分者标注等局限，但其标准化、多模态、跨群体的设计使其成为未来脑成像研究，特别是感觉剥夺与神经可塑性领域的宝贵资源。