一种用于 resting-state fMRI 中功能性脑网络分类的多模态深度学习框架

《Cognitive Neurodynamics》：A multimodal deep learning framework for functional brain network classification in rs-fMRI

癫痫患者功能脑网络rs-fMRI自动分类研究提出融合空间（3D-CNN）、时域（LSTM）和频域特征的混合深度学习框架，成功将独立成分分析（ICA）解出的11类脑网络（包括SoZ、RSNs及噪声）分类，验证模型临床适用性并优化癫痫手术规划决策。

　　

摘要

本研究旨在利用静息态功能性磁共振成像（rs-fMRI）自动化分类癫痫患者的功能性脑网络。该研究提出了一种深度学习框架，该框架利用空间和时间特征将独立成分分析（ICA）得到的网络分类为11个功能不同的类别，包括癫痫发作起始区（SoZ）、静息态网络（RSNs）以及伪影/噪声。开发了一种混合深度学习架构，结合了3D卷积神经网络（3D-CNN）来提取空间特征（SF），以及长短期记忆（LSTM）网络来捕捉时域（TS）和频域（FS）信号的时间动态。这些多域特征被串联起来并分类为11种不同的ICA成分类型。通过消融研究评估了空间、时间和频谱特征的单独及综合贡献。此外，专家神经科医生独立评估了四个代表性案例，以定性验证模型的可解释性和临床相关性。基线3D CNN（SF）模型的总体准确率为69%，灵敏度为0.52，ROC AUC为0.76。加入频域信号（SF + FS）后，灵敏度提高至0.54，ROC AUC提升至0.78，同时保持了相似的准确率。结合时域和频域信号（SF + TS + FS）时，准确率达到了最高值70%。在类别层面，噪声类别始终表现出稳健的性能（高达0.94），而颞叶网络类别（Temporal）在所有配置中的得分较低（0.14–0.24）。我们的结果表明，这种数据驱动的框架可以有效自动化分类rs-fMRI得到的功能性脑网络（包括SoZ），从而减少临床评估中的主观性和工作量。空间、时间和频谱信息的结合使得分类更加丰富和细致，有助于癫痫手术规划的后续应用。