基于 Segment Anything 模型微调的糖尿病视网膜病变出血病灶识别研究：开启精准诊断新征程

《Scientific Reports》：Research on recognition of diabetic retinopathy hemorrhage lesions based on fine tuning of segment anything model

为解决糖尿病视网膜病变（DR）出血病灶手动识别难题，研究人员开展 SAM-ada-Res 模型研究，结果该模型性能优异，助力 DR 早期诊断。

　　

糖尿病视网膜病变出血病灶识别研究：创新模型助力精准诊断

在糖尿病的众多并发症中，糖尿病视网膜病变（Diabetic Retinopathy，DR）是一种严重威胁视力的疾病。对于 DR 的早期诊断来说，精确检测视网膜出血（Hemorrhage，HE）至关重要，因为其数量是评估 DR 进展阶段的关键指标之一。然而在实际临床工作中，眼科医生手动识别眼底图像中的 HE 面临诸多挑战。一方面，出血病灶大小不一、形状复杂，而且颜色与周围组织相似，边界模糊、对比度低，这需要医生具备高超的专业技能，同时也非常耗费时间。另一方面，大量的图像数据处理容易导致人为误差，不同医生之间的判断差异也会使疾病进展评估变得复杂。

为了解决这些问题，济宁医学院附属医院的研究人员开展了深入研究。他们提出了一种名为 SAM-ada-Res 的新型双编码器模型，相关研究成果发表在《Scientific Reports》上。该研究对于提高 DR 早期诊断的准确性和效率，改善患者的治疗效果具有重要意义。

研究人员在这项研究中运用了多种关键技术方法。他们整合了预训练的 Segment Anything 模型（SAM）和 ResNet101，构建了双编码器结构。同时，采用了 Adapter 微调技术，在不重新训练 SAM 骨干网络的情况下，使其更适用于视网膜任务。在训练过程中，使用加权 Dice 损失（Dice_loss）和二元交叉熵损失（BCE_loss）相结合的方式优化模型。研究使用了三个数据集，包括两个公开数据集（OIA-DDR 和 IDRiD）和一个私有数据集（JYFY-HE），并对数据进行了增强处理。

实验结果

1. 数据集：使用三个出血病灶数据集，通过旋转、翻转等数据增强技术增加样本数量和多样性，将高分辨率图像调整为 512×512 大小并归一化像素值。
2. 实验设置：以批量大小为 4，使用 Adam 优化器，权重衰减参数为 1e?3 ，初始学习率为 1e-4，训练 100 个 epoch。与多个知名医学图像分割模型对比，采用归一化 Dice 系数（nDice）和归一化交并比（nIou）作为评估指标。
3. 定量比较：在多个数据集上，SAM-ada-Res 模型表现优异。在 JYFY-HE 数据集上 nDice 达到 0.6040，在 IDRiD 数据集上 nIou 达到 0.4182，均优于其他对比模型，表明其在分割复杂出血区域方面效果显著。
4. 可视化比较：从三个数据集中随机选取图像进行可视化对比。在 OIA-DDR 数据集上，AgileFormer 假阳性较多，SAM-ada-Res 假阴性相对较多；在 JYFY-HE 数据集和 IDRiD 数据集上，AgileFormer 和 G-CASCADE 相较于 SAM-ada-Res 更容易出现漏检和假阳性。
5. 消融研究：与使用不同编码器配置的模型对比，SAM-ada-Res 结合 ResNet 和 Adapter 微调的 SAM2 编码器，在所有数据集上取得最佳分割结果，证明了该模型设计的有效性。
6. HE 智能分割在线工具：基于 SAM-ada-Res 模型开发了在线工具，医生上传眼底图像后可自动生成分割结果，显示出血区域分布和数量，操作简便，提升了诊断效率。

研究结论与意义

研究表明，SAM-ada-Res 模型有效结合了 SAM2 编码器和 ResNet101 编码器的优势，在多个数据集上展现出良好的分割性能，能够准确识别不同大小和形状的 HE，减少假阳性和假阴性。该模型不仅为 DR 的早期诊断提供了有力工具，还为其他医学图像分析任务提供了新的解决方案。未来，研究人员将进一步优化模型的泛化能力和计算效率，探索更多数据增强技术，拓展该方法在医学成像领域的应用。这项研究成果有望推动精准医学的发展，在实际医疗实践中发挥重要作用。