基于多模态数据融合的深度学习模型在肺癌多类分类与风险分层中的应用研究

《Hormones & Cancer》：A deep learning model for multiclass lung cancer classification using multimodal data fusion

本研究针对肺癌精准诊断与风险分层中单模态数据的局限性，开发了一种融合病理图像、RNA测序、甲基化数据和临床信息的多模态深度学习模型（MMLM）。通过改进ResNet152架构并采用特征级融合策略，模型在独立测试集上对肺腺癌（LUAD）、肺鳞癌（LUSC）和混合亚型腺癌的分类AUC分别达到0.999、1.000和0.980，显著优于单模态模型。该研究为肺癌个性化诊疗提供了可解释性强的一体化解决方案。

　　

肺癌作为全球发病率和死亡率最高的恶性肿瘤，其精准分类与风险分层对治疗方案制定至关重要。传统病理诊断主要依赖医师对组织切片的肉眼观察，但不同医师间存在主观差异，且难以整合分子层面的生物信息。近年来，基于深度学习的病理图像分析技术虽取得进展，如ResNet等模型在肿瘤分类中表现优异，但其单模态特性限制了全局信息捕捉能力，尤其对混合亚型肺癌的识别精度有限。更关键的是，临床决策本质是多模态信息的整合过程——病理形态、基因表达、表观遗传和临床参数共同构成了诊断依据。如何模拟这一复杂过程，构建能融合多源数据的智能诊断系统，成为当前研究的难点。

为解决上述问题，Lin等人在《Discover Oncology》发表研究，提出了一种多模态深度学习模型（MMLM）。该模型通过融合全切片图像（WSI）、RNA测序（RNA-seq）、450K甲基化芯片数据和临床信息，实现了肺癌亚型的高精度分类与风险预测。研究首次将可定制输入尺寸的ResNet152作为特征提取器，结合注意力加权融合机制，模拟了病理医师的综合判断逻辑。

研究主要采用四项关键技术：

1. 1.
   病理图像预处理与特征提取：基于OpenSlide库处理高分辨率WSI，提取2240×2240像素的图像块，通过HSV色彩空间参数（亮度、对比度、γ校正、饱和度）标准化后，输入改进的ResNet152（RNet）提取1024维特征向量。
2. 2.
   多模态数据整合：RNA-seq和甲基化数据通过UMAP降维至500维；临床数据经R软件清洗后直接输入。
3. 3.
   特征级融合：采用带softmax注意力权重的融合层，将四类模态的128维特征向量动态加权整合。
4. 4.
   可解释性增强：通过类激活映射（CAM）可视化病理图像关键区域，并利用UMAP展示高贡献度分子特征分布。

3.1 患者特征与队列设计

研究纳入TCGA数据库的864例WSI、864例RNA-seq样本和707例甲基化数据，涵盖肺腺癌（LUAD，409例）和肺鳞癌（LUSC，455例）。经多模态数据匹配后，最终673例患者纳入模型训练与验证。

3.2 基于ResNet152的肺癌病理图像分类模型

RNet在验证集中对鳞癌（NOS）、腺癌（NOS）和混合亚型腺癌的分类AUC分别为0.983、0.975和0.981，但独立测试集性能显著下降（AUC：0.822/0.732/0.781），表明单模态模型泛化能力有限。

3.3 MMLM在肺癌分类中的应用

多模态融合使模型性能显著提升：测试集上对鳞癌、腺癌和混合亚型的AUC达0.999、1.000和0.980，平均精度（AP）分别为0.999、1.000和0.909。CAM热图显示模型能聚焦于肿瘤细胞密集区域，UMAP可视化证实转录组特征在模态中贡献度最高。

3.4 MMLM在肺癌风险分层预测中的应用

基于WHO的TNM分期标准，模型将患者分为TYPE1-3风险组。在LUAD和LUSC队列中，MMLM对TYPE2（低风险组）的预测AP值均高于0.96，Kaplan-Meier生存分析证实该分组具有显著临床意义（P<0.001）。

该研究通过多模态数据融合有效解决了单模态模型的局限性。MMLM不仅显著提升了对混合亚型肺癌的识别能力（AUC提升25%），还首次实现基于多源数据的肺癌风险分层预测。值得注意的是，模型在RNA-seq和甲基化数据中识别出的高贡献特征与已知肺癌驱动基因（如EGFR、KRAS）的异常表达和甲基化模式相符，这为生物学解释提供了依据。然而，研究仍受限于公共数据的完整性和患者隐私保护要求。未来引入蛋白质组学、放射组学等新模态数据，并结合联邦学习技术，可进一步推动模型在临床实践中的落地。MMLM框架的成功验证表明，多模态人工智能将成为精准医疗时代整合复杂临床信息的关键工具。