基于文本到音乐生成模型解析人脑音乐语义表征的神经机制

《Nature Communications》：Text-to-music generation models capture musical semantic representations in the human brain

本研究通过fMRI技术结合MusicLM音乐生成模型，首次实现了从人脑活动重建音乐语义特征。研究人员发现听觉皮层可同时编码文本描述与音乐本身的高层语义信息，且音乐专用模型对初级听觉皮层的预测精度显著优于通用音频模型。该研究为理解音乐认知的神经基础提供了新范式，推动了NeuroAI领域的发展。

　　

当贝多芬的《命运交响曲》在耳边响起时，我们的大脑如何将流动的音符转化为对"激昂""悲壮"等复杂语义的理解？这个困扰神经科学界数十年的问题，如今随着人工智能技术的突破迎来了新的解答。传统研究通过功能磁共振成像（fMRI）发现了大脑对节奏、音色等基础音乐特征的编码规律，但面对音乐中蕴含的丰富语义信息，如流派风格、情感色彩等高层抽象特征，始终缺乏有效的解析工具。

近日发表于《Nature Communications》的研究通过结合文本-音乐生成模型MusicLM，首次实现了从人脑活动直接重建音乐语义特征。研究团队采用双管齐下的策略：一方面通过解码分析从fMRI信号重建音乐，另一方面利用编码模型解析音乐特征与脑活动的对应关系。这项工作的创新之处在于将音乐生成模型的内部表征与神经活动直接关联，为理解音乐认知的神经机制开辟了新途径。

关键技术方法包括：使用3.0T fMRI采集5名受试者聆听音乐时的脑活动数据；采用岭回归（ridge regression）建立fMRI信号与MusicLM各组件（MuLan^music、MuLan^text、w2v-BERT等）嵌入向量的映射关系；通过Free Music Archive（FMA）检索和MusicLM生成两种方式实现音乐重建；基于Destrieux脑图谱选择听觉相关感兴趣区域（ROI）进行模型训练；使用皮尔逊相关系数和识别准确率等指标量化重建效果。

解码分析：从脑活动生成音乐

研究团队首先比较了不同音乐嵌入向量作为预测目标的效果。结果显示，MuLan^music嵌入在测试集上的识别准确率达到87.6%，显著优于其他嵌入类型（表1）。这表明从音乐音频直接提取的语义特征最能反映fMRI信号中蕴含的高层音乐信息。

通过定量评估发现，重建音乐在流派、乐器和情绪等语义特征上与原始刺激具有显著相似性（图1b）。特别值得注意的是，基于MuLan嵌入的识别准确率在不同音乐流派间保持稳定（图1c），且对人声性别的重建准确率达到66.67%，证明模型捕获的信息远超流派分类的范畴。

编码分析：从音乐特征预测脑活动

编码模型结果显示，MuLan^music和w2v-BERT-avg等音频衍生嵌入均能显著预测听觉皮层的神经活动（图2a）。有趣的是，虽然这两种嵌入分别代表高低不同层级的音频信息，但它们预测的脑区存在大量交集（图2b），暗示听觉皮层的功能分化不如视觉皮层明显。

对比文本与音频衍生的MuLan嵌入发现，MuLan^text（纯文本描述提取）与MuLan^music（音乐音频提取）预测的脑区高度重叠（图3a-b）。方差分解分析进一步表明，MuLan^music贡献了更多的独特解释方差，这与视觉神经科学中文本表征具有独立预测能力的发现形成鲜明对比。

模型比较与泛化能力

与HuBERT、wav2vec 2.0等通用音频模型相比，音乐专用模型MuLan^music在初级听觉皮层的预测精度显著更高（图4）。剔除特定流派训练的模型在未见流派上仍保持高于随机水平的识别准确率（图5a），且MuLan^music的预测效果明显优于单纯流派标签模型（图5b），证明模型捕获了超越流派分类的丰富音乐语义。

这项研究通过创新性地结合音乐生成AI与神经成像技术，揭示了人脑音乐语义表征的神经基础。研究发现听觉皮层是音乐语义处理的中心枢纽，但并非唯一区域——在侧前额叶、侧颞叶和下顶叶皮层也检测到显著 voxels。研究还证实音乐专用模型比语音模型更能匹配人脑的音乐处理机制，为音乐认知的神经特异性提供了证据。

该工作的方法论意义在于同步采用编码与解码双策略，克服了单一方法的局限性。编码模型虽能精确量化特征-脑区对应关系，但难以直观展示信息内容；解码模型虽生成可解释的音乐输出，但无法精确刻画特征表征。二者结合为NeuroAI研究提供了新范式。

研究同时指出多个未来方向：包括从音乐想象而非感知状态生成音乐、探索音乐专业知识对表征的影响、结合高层语义与低层声学特征提升重建质量等。随着音乐生成模型的快速发展，这项开创性工作为理解生物智能与人工智能在音乐认知层面的共鸣奠定了重要基础。