基于深度学习的结构化哈希用于医学图像检索，精准匹配模态、器官与疾病特征

为解决医学图像检索难题，研究人员开展 MODHash 技术研究，提升检索性能，助力医学发展。

　　在当今数字化医疗的浪潮中，各类先进的临床成像技术，如 X 射线、磁共振（MR）、计算机断层扫描（CT）和超声等，正源源不断地生成海量的医学图像。这些图像就像一座蕴藏着巨大宝藏的矿山，蕴含着丰富的医学信息，对疾病的诊断、治疗以及患者的健康管理起着至关重要的作用。然而，随着图像数量的急剧增加，如何从这庞大的图像库中快速、准确地找到所需的信息，成为了困扰医学界的一大难题。

想象一下，医生面对一位复杂病情的患者，急需参考以往相似病例的医学图像来辅助诊断，但面对海量的图像数据却无从下手，这不仅耽误了宝贵的治疗时间，还可能影响诊断的准确性。这就是基于内容的医学图像检索（Content - based medical image retrieval，CBMIR）技术所面临的挑战。传统的 CBMIR 系统在实际应用中存在诸多问题，比如检索效率低下、精度不高、难以处理图像的复杂特征等，这些问题严重阻碍了其在临床实践中的广泛应用。

为了攻克这些难题，来自印度理工学院卡拉格普尔分校（Indian Institute of Technology Kharagpur）的研究人员展开了深入研究。他们提出了一种创新的结构哈希技术 ——MODHash，旨在通过深度学习的方法，实现对医学图像模态、器官和疾病内容的敏感检索。这项研究成果发表在《Scientific Reports》上，为医学图像检索领域带来了新的曙光。

研究人员在开展研究时，运用了多种关键技术方法。首先，他们采用了一种改进的 AlexNet 作为骨干网络架构（Encoder ()）来学习图像特征。在此基础上，引入了三个简单网络 net₁(·)、net₂(?) 和 net₃(?)，分别对图像的模态、器官和疾病特征进行分类和生成子哈希码。在训练过程中，通过最小化特征特定分类损失、Cauchy 交叉熵损失和量化损失来优化网络，从而生成能够准确反映图像特征的哈希码。为了验证 MODHash 的有效性，研究人员构建了一个包含多器官、多模态和多种疾病的医学图像数据集，该数据集来源于 Figshare、Mendeley 和 Kaggle 等公开数据集。

下面来看看具体的研究结果：

• 总体性能：研究人员对 21 种不同变体的 MODHash 进行了评估，用平均精度均值（mAP）和归一化折损累计增益（nDCG）等指标衡量性能。结果显示，不同变体表现相似，其中 MODHash - 58 表现最为突出，mAP@10 达到 0.8336，nDCG@10 达到 0.9692。研究还发现，当遵循 K₁=K₂=K₃-4 时，模型性能较好。
• 与现有最优方法（SOTA）比较：将 MODHash 的检索性能与多种成对深度哈希方法进行对比，涵盖七种特征情况。结果表明，在模态（M）、器官（O）相关检索中，MODHash 与 OrthoHash 表现相近；但在涉及疾病相关的检索中，MODHash 优势明显，mAP 提升 12%，nDCG 提升 2%。通过 UMAP 可视化发现，MODHash 生成的相似图像二进制哈希码在低维空间中距离更近。
• 全哈希码与特征特定哈希码比较：分别计算全哈希码和特征特定哈希码的汉明距离来分析其对图像特征的影响。以 MODHash - 64 为例，发现两种方式下性能相似，说明全哈希码和特征特定哈希码携带的信息相同。
• 消融研究：通过选择不同的训练协议，观察不同损失函数对检索性能的影响。只使用分类损失（L₁）时，MODHash 的 nDCG@100 为 0.9669，mAP@100 为 0.7938；加入相似性损失（L₂）和量化损失（L₃）后，性能逐步提升。

研究结论和讨论部分指出，MODHash 基于深度神经哈希（DNH），通过结构特性生成依赖于图像的哈希码。其改进的损失函数联合优化网络二进制表示学习，有效提升了检索性能。在大规模数据集上的综合实验表明，MODHash 在 mAP 和 nDCG 指标上均优于现有最优方法，为下一代医学成像检索系统提供了极具前景的解决方案。这一成果有望极大地提高医生获取医学图像信息的效率，辅助临床诊断和治疗决策，推动医学领域的发展，让医疗服务更加精准、高效，为患者带来更多的希望。