基于3D CT与影像报告的多模态颅脑诊断模型MM-CD：提升卒中病变检测准确性的新方法

《Scientific Reports》：MultiModal craniocerebral diagnose based on 3D CT and image reports

本研究针对传统颅脑CT诊断依赖单模态数据导致小病灶漏诊率高的问题，开发了融合3D CT与影像报告的多模态诊断模型MM-CD。通过设计切片权重生成器（Weight Generator）聚焦异常切片，结合多尺度图像融合模块（Image Fusion）整合跨切片病灶特征，最终在真实临床数据集上达到92.48%的准确率，较现有最优模型提升1.65%。该模型为急性卒中诊疗提供了自动化决策支持工具，显著缩短诊断时间窗口。

　　

在急诊室里，每一分钟都关乎生死。当卒中患者被送入医院，医生需要快速从数百张颅脑CT切片中找出病灶痕迹，如同在茫茫雪地里寻找一枚绣花针。然而，传统诊断方法存在三大痛点：依赖单张CT切片容易遗漏跨切片分布的病灶；影像报告仅提供粗粒度描述缺乏细节特征；而直接使用3D卷积神经网络（3D CNN）处理全容积数据时，微小病灶的识别精度又难以保证。这些挑战使得急性脑梗死、小梗死灶等病变成为临床诊断中的“隐形杀手”。

针对这一难题，上海大学与山东第一医科大学第二附属医院联合团队在《Scientific Reports》发表最新研究，提出了一种名为MM-CD（MultiModal Craniocerebral Diagnose）的多模态颅脑诊断模型。该创新性工作将完整的3D CT扫描与影像报告相结合，模拟临床专家诊断思维，实现了对卒中病变的精准检测。研究团队通过设计切片权重生成器自动聚焦异常切片，利用多尺度图像融合模块整合病灶空间特征，最终在1730例真实临床数据上验证显示，模型准确率达92.48%，较现有最优方法提升1.65%，为急诊卒中诊断提供了高效可靠的AI辅助工具。

关键技术方法涵盖：1）基于ConvNeXT的视觉编码器提取256层CT切片特征；2）权重生成器通过多尺度块状分析（patch analysis）计算切片重要性权重；3）图像融合模块结合通道注意力（channel attention）与空间注意力（spatial attention）机制整合跨切片特征；4）BERT文本编码器处理去标识化影像报告；5）8层Transformer编码器实现多模态特征对齐。实验数据来自山东第一医科大学第二附属医院神经外科经伦理委员会批准的临床病例。

结果

伦理声明

研究经山东第一医科大学第二附属医院伦理委员会批准（批号2024-092），所有数据经匿名化处理。数据集包含1730例匹配的256层平扫CT、影像报告和影像诊断，将开放式诊断任务重构为封闭式视觉问答（VQA），包含三类问题：多病灶判断、脑白质脱髓鞘改变识别和异常结构定位。

数据集特征

样本分布呈现典型临床长尾特征：缺血性病变占比超70%，出血性病变不足6%；脑白质脱髓鞘二分类样本相对均衡（830正/900负）；异常结构定位中“基底节区及放射冠”占比最高（约750例）。数据按7:1:2划分训练/验证/测试集。

与现有方法比较

MM-CD在准确率（92.48%）、精确率（85.53%）、召回率（84.21%）和F1值（84.52%）上均优于对比模型。相较纯文本模型（BioBERT、Mamba），多模态融合带来4.84%准确率提升；较最优多模态模型MMQL提升1.65%。配对t检验（p<0.05）证实改进具有统计显著性。

消融实验

单独使用图像模态（ConvNeXT+图像融合+权重生成器）准确率为89.15%，文本模态（BERT）为85.35%。基线多模态模型（BaseModel）因长尾分布偏差导致少数类识别能力差，如“腔隙性梗死”类别假阳性达52例。添加图像融合模块后准确率升至90.96%，增加权重生成器进一步提升至92.00%。完整MM-CD模型在四类少数病变上的假阳性平均降低67%，真阴性增加3倍，证明模块协同作用有效缓解了类别不平衡问题。

CT切片注意力热图可视化

如图4案例所示，基线模型注意力分散在非病灶区域（如眶底、颅底边缘），而MM-CD热点更集中于病灶区域（如脑干低密度区、大脑半球梗死灶）。第三例基底节区多发点状低密度灶中，MM-CD对双侧病灶的响应显著增强，表明模型对微小病灶的聚焦能力提升。

权重生成器热图可视化

权重生成器输出的切片级评分热图（图5）显示，模型能有效识别不同解剖层面的病灶分布。例如样本1中切片14-17高权重区域对应基底节区点状低密度灶；样本2中切片12-15同时捕获丘脑出血性高密度灶与基底节缺血性低密度灶，证明多尺度块状分析能有效整合不连续CT栈中的病灶模式。