编辑推荐：
在医学影像领域，预测放射科医生注视行为对提升诊断准确性至关重要。研究人员开展 MedGaze 系统相关研究，其结合视觉特征与放射学报告预测扫描路径。结果显示，MedGaze 性能优于传统方法，能助力训练与诊断。
在医学影像诊断的舞台上，胸部 X 光（CXR）检查是极为常见且重要的手段。然而，传统的诊断方式存在诸多挑战。对于新手放射科医生而言，如何从复杂的 CXR 图像中精准、高效地识别异常区域，是他们在成长过程中面临的一大难题。而专家级放射科医生在解读图像时，其独特的视觉搜索模式和认知过程犹如神秘的 “黑匣子”，难以被新手轻易掌握。与此同时，现有的一些辅助诊断技术，如传统的眼动建模示例（EMMEs），虽然在一定程度上能够展示专家的注视模式，但却存在着诸多局限，比如依赖静态、有限的案例数据，难以适应不同学习者的需求，也无法很好地扩展到多样化的医疗场景中 。为了打破这些困境，来自美国休斯敦大学电气与计算机工程系、阿肯色大学计算机科学与计算机工程系等多机构的研究人员携手开展了一项极具意义的研究，相关成果发表在《Scientific Reports》上。
研究人员推出了 MedGaze 这一创新系统，它受 “数字凝视双胞胎” 概念的启发，旨在模拟放射科医生的认知过程，并预测 CXR 图像中的扫描路径。该系统的研发，为揭开放射科医生诊断时的 “黑匣子” 提供了可能，有望成为提升放射学训练效果和诊断准确性的有力武器。
为实现这一目标，研究人员采用了一系列关键技术方法。他们利用公开的大型数据集，如 MIMIC 数据集进行表示学习，以提取医学相关的多模态特征。在模型构建上，采用了两阶段训练方法：视觉到放射学报告学习（VR2）和视觉语言认知学习（VLC）。VR2 阶段聚焦于从 CXR 图像中提取和增强视觉特征；VLC 阶段则将这些视觉特征与放射学报告相结合，创建全面的多模态嵌入，进而预测扫描路径。此外，MedGaze 模型运用大语言模型（LLMs）来提取丰富文本信息的多模态嵌入，还设计了独特的注视预测模块来预测注视坐标和持续时间。
下面来看看具体的研究结果：
- 与现有技术对比：研究人员将 MedGaze 与当前最先进的扫描路径预测方法进行对比。在相同数据集（如 EGD-CXR 和 REFLACX 数据集）上训练和测试时，MedGaze 在多个指标上表现优异。例如在 EGD-CXR 数据集上，MedGaze 的平均交并比（mIoU）达到 0.41 [95% CI 0.40, 0.42] ，而对比的 Gazeformer 仅为 0.27 [95% CI 0.26, 0.28]；相关系数（CC）为 0.50 [95% CI 0.48, 0.51] ，Gazeformer 为 0.37 [95% CI 0.36, 0.41]；平均多匹配得分（mMM）为 0.80 [95% CI 0.79, 0.81] ，Gazeformer 为 0.71 [95% CI 0.70, 0.71] 。在不同数据集之间进行测试时，MedGaze 也展现出良好的泛化能力，其性能依旧优于 Gazeformer。这表明 MedGaze 能更精准地预测放射科医生的扫描路径和注视持续时间。
- 临床工作量分析：研究人员通过分析注视持续时间来推断临床工作量。在 EGD-CXR 数据集上，模型预测的注视持续时间与实际放射科医生的注视持续时间之间的皮尔逊相关系数（CC）达到 0.54（p<0.001） ，斯皮尔曼等级相关系数为 0.64（p<0.001） 。在 REFLACX 数据集上，虽然由于数据集中包含不同经验水平的放射科医生数据，导致相关性有所降低，但也达到了一定的显著水平。这说明 MedGaze 能够在一定程度上理解临床工作量，并且通过对临床工作量的分析发现，高临床工作量的案例通常包含多个异常，而低临床工作量的案例多为正常情况。
- 人类评估结果：研究人员邀请了一位专业的放射科医生对 MedGaze 预测的扫描路径进行评估。结果显示，在 20 个实例中，有 13 个被评为与人类注视模式相似，在重要区域的覆盖方面，MedGaze 表现出色，有 8 个预测的覆盖度达到 61 - 80%，10 个达到 81 - 100%，且冗余度较低。这表明 MedGaze 能够有效地模仿人类注视模式，同时在注视预测上更具效率。
综合上述研究，MedGaze 在模拟放射科医生认知过程、预测扫描路径方面取得了显著成果。它不仅在性能上超越了现有技术，还能在临床工作量评估等方面发挥作用，并且得到了人类评估的认可。这一系统对于提升新手放射科医生的训练效果、优化临床诊断流程具有重要意义，为医学影像诊断领域带来了新的思路和方法。不过，研究也存在一些局限性，比如所用数据集在规模和多样性上有待提高，模型在处理某些正常案例时表现欠佳，且目前仅针对胸部 X 光图像，其在其他医学成像模态中的应用尚未探索，计算成本和复杂性也可能影响其临床实时应用。但总体而言，MedGaze 为未来的医学影像研究和实践开辟了新的方向，后续研究可围绕这些局限展开进一步探索和改进，推动该领域不断向前发展。
