跨模态深度生成模型揭示舞蹈感知的皮层表征机制

《Nature Communications》：Cross-modal deep generative models reveal the cortical representation of dancing

本研究针对自然舞蹈感知中多模态信息整合的神经机制尚不明确的问题，通过结合功能磁共振成像（fMRI）与跨模态深度生成模型（EDGE），定量解析了舞蹈动作、音乐及其交互特征在大脑中的表征模式。研究发现，跨模态特征比单一模态特征更能解释舞蹈诱发的大脑活动，且专家舞者与新手在神经表征上存在显著差异。该成果为理解自然场景下多感官整合及艺术认知的神经基础提供了新范式，发表于《Nature Communications》。

　　

舞蹈作为一种古老而全面的艺术形式，融合了动态身体运动与节奏音乐，为研究人类大脑在真实环境下的多模态信息处理提供了独特窗口。然而，以往研究多采用单一模态或高度控制的实验条件，难以捕捉自然舞蹈中精细的视听交互及其神经表征。此外，尽管舞蹈专家与新手的认知差异已被广泛报道，但其背后的神经计算机制尚不清晰。为此，日本东京大学等机构的研究团队在《Nature Communications》发表论文，通过结合自然主义舞蹈视频刺激、功能磁共振成像（fMRI）与跨模态深度生成模型EDGE，首次系统刻画了舞蹈特征在大脑皮层中的分布式表征模式。

研究团队招募14名参与者（7名专家舞者与7名新手）在fMRI扫描下观看5小时的自然舞蹈视频（选自AIST舞蹈数据库）。利用EDGE模型提取动作、音频及跨模态特征（通过Transformer层融合视听信息生成），构建体素级编码模型（voxel-wise encoding model）预测大脑血氧水平依赖（BOLD）信号。关键方法包括：（1）采用L2正则化线性回归（岭回归）建立特征-脑活动映射；（2）使用堆叠回归（stacked regression）量化不同特征的独立贡献；（3）通过人群评分实验（N=166）对舞蹈视频进行42维概念标注（如动态性、审美欣赏等），并与模型预测的脑活动进行关联分析。

跨模态特征在全脑范围内预测舞蹈诱发活动

研究发现，跨模态特征（尤其是第6层Transformer输出CM5）对高级视觉皮层（如枕前沟）及联合皮层（如顶上小叶）活动的预测能力显著优于低阶动作或音频特征（图2a-c）。听觉特征在听觉皮层（颞横回）表征最强，而颞上沟（STS）等区域对多类信息均有广泛响应。

各舞蹈特征的独立贡献

堆叠回归分析显示，动作特征主要贡献于视觉背侧通路，音频特征主导腹侧视觉与听觉皮层，而跨模态特征在顶内沟（IPS）、楔前叶等高级联合区权重更高（图3a-f），表明这些区域专门处理舞蹈中视听交互信息。

舞蹈概念在脑中的模拟映射

通过编码模型模拟18,109段舞蹈序列的脑活动，发现“动态性”与默认模式网络（如楔前叶、内侧前额叶mPFC）活动正相关，而“无聊”与之负相关；“审美欣赏”同时激活低阶与高阶视觉区（图4c-i），提示审美评价与感知过程的紧密耦合。

专家与新手舞者的模型比较

专家舞者在动作特征编码的显著体素数多于新手（图5a），且专家组内脑活动模式相似性更低（图5b-c），反映其个体化处理策略。两组在概念-脑活动关联趋势上高度一致（R=0.89），但专家关联强度略弱。

讨论与意义

本研究首次将跨模态生成模型与自然神经成像结合，揭示舞蹈感知中视听整合的分布式神经编码。EDGE模型的运动预测架构与人类认知对齐，为NeuroAI领域提供了生物与人工系统处理多模态信息的可比性证据。舞蹈诱发的情绪概念（如动态性、无聊）特异性地映射到默认网络，凸显多维情绪量表在捕捉艺术体验中的价值。专家-新手差异提示长期训练通过增强运动处理特异性及个体化策略优化神经表征。研究还通过模拟人工舞蹈刺激（动作-音乐错配）发现，非自然配对可能激活前额叶调控区域，为未来操纵舞蹈刺激以调控神经活动提供了概念验证。

局限包括刺激集中于街舞（动作-音乐强耦合），未来需扩展至其他舞蹈形式；fMRI实验的生态效度仍有提升空间。该框架为舞蹈创作、神经美学及跨模态认知研究提供了新工具，强调从孤立特征分析转向自然场景下动态交互建模的重要性。