基于非配对白内障与高质量图像的通用白内障眼底图像修复模型:创新突破与临床意义

《Scientific Reports》:Versatile cataract fundus image restoration model utilizing unpaired cataract and high-quality images

【字体: 时间:2025年04月02日 来源:Scientific Reports 3.8

编辑推荐:

  白内障是常见致盲性眼病,会影响眼底图像质量,给诊断带来困难。研究人员开展了名为 Catintell 的白内障图像修复方法研究。结果显示,Catintell-Res 在 PSNR 和 SSIM 指标上表现优异,能处理多种数据集的白内障图像,有望辅助眼科医生诊断,推动医学图像修复发展。

  在眼科疾病的诊疗领域,白内障是一个不可忽视的 “视力杀手”。它作为全球范围内最为常见的致盲性眼病之一,据世界卫生组织预估,到 2025 年,白内障导致的失明人数将高达 4000 万。白内障主要是由于眼内晶状体蛋白质沉积,使得晶状体变得浑浊,不仅会引发视力模糊、色彩感知下降、眩光等一系列症状,还会在眼底图像上形成模糊的退化区域,严重干扰眼科医生对患者眼底血管的观察,这无疑给白内障患者是否同时患有其他致盲性眼病的诊断工作带来了巨大挑战。以往传统的眼底图像修复方法主要基于手工制作的先验知识,但这些方法在临床应用中表现不佳,因为它们的先验知识有限,泛化能力也较差。而近年来深度学习方法虽在自然图像修复中取得了不错的成果,但在白内障眼底图像修复方面,由于缺乏大量配对的白内障和清晰眼底图像,现有的方法也面临着困境。
为了攻克这些难题,来自清华大学深圳国际研究生院以及首都医科大学附属北京同仁医院北京同仁眼科中心等机构的研究人员,开展了一项极具创新性的研究。他们提出了一种全新的白内障图像修复方法 ——Catintell,该方法包含白内障图像合成模型 Catintell-Syn 和修复模型 Catintell-Res。这项研究成果发表在《Scientific Reports》上,为白内障眼底图像修复带来了新的曙光。

研究人员在开展研究时,运用了多个关键技术方法。首先,他们收集了来自北京同仁医院的 1144 张高质量(HQ)眼底图像和 2436 张白内障图像,构建了 Catintell Image 数据集,并采用 10 折交叉验证进行实验。同时,利用生成对抗网络(GAN)架构开发了 Catintell-Syn 模型,通过完全无监督的数据生成具有真实风格和纹理的配对白内障样图像。在此基础上,构建了基于卷积神经网络(CNN)和 Transformer 的 Catintell-Res 模型用于白内障眼底图像修复,并使用多种损失函数来优化模型训练。

下面来详细看看具体的研究结果:

  1. Catintell-Syn 实验:通过定性比较 Catintell-Syn、CycleGAN 和传统降解方法,发现 Catintell-Syn 生成的降解图像在风格上与真实白内障图像基本一致,尤其是在血管和黄斑区域的严重降解以及视盘区域的轻度降解表现上,与真实情况高度匹配。在用户研究中,让眼科医生对不同方法生成的图像进行打分,结果显示 Catintell-Syn 合成的图像得分仅略低于真实白内障图像,明显高于传统方法和 CycleGAN 生成的图像,这表明 Catintell-Syn 成功合成了与真实白内障图像高度相似的图像。
  2. Catintell-Res 实验:由于获取白内障 - 清晰图像对存在困难,研究人员使用 Catintell-Syn 模型生成的模拟白内障 - HQ 图像对来评估 Catintell-Res 的性能。在与其他多种方法的对比实验中,Catintell-Res 在峰值信噪比(PSNR)和结构相似性指数(SSIM)这两个指标上均表现出色,分别达到了 39.03 和 0.9476,远超其他方法。在对真实白内障图像的测试中,Catintell-Res 能够有效恢复图像细节,如在黄斑周围血管的增强以及视杯 / 视盘区域血管边缘的清晰化方面表现突出。用户研究也表明,眼科医生对 Catintell-Res 修复的图像评分最高,进一步证明了其强大的修复能力。此外,通过基于人工智能的眼底图像质量评估(FIQA)测试,Catintell-Res 修复的图像在 “Good” 类别中的比例最高,“Reject” 类别中的比例最低,再次验证了其卓越的性能。
  3. 泛化能力测试:研究人员使用 ODIR 和 Kaggle 上的开源白内障数据集对 Catintell-Res 进行测试,结果发现该模型无需进一步训练或修改,就能对其他来源的白内障图像进行有效修复,这表明 Catintell-Res 具有通用的修复能力。
  4. 消融研究:研究人员对 Catintell-Res 的编码器 / 解码器结构、Patch 大小、网络深度和宽度以及损失函数权重进行了消融研究。结果表明,Catintell-Res 的编码器 / 解码器结构在优化后性能最佳;Patch 大小为 256×256 像素时模型性能最优;网络深度为 4 层、宽度为 32 时模型性能最好;当前模型中损失函数的权重比例是最优的,调整权重会导致性能下降。同时,研究人员还采取了多种措施避免 GAN 训练中常见的模式崩溃问题,如数据增强、使用身份损失和采用较低的学习率等,这些措施有效减少了模式崩溃的发生。

综合来看,研究结论和讨论部分具有重要意义。研究人员提出的 Catintell 方法在白内障图像合成和修复方面都展现出了卓越的性能。Catintell-Syn 成功缓解了配对图像缺乏的问题,生成的白内障样图像具有高度的真实性;Catintell-Res 则在真实白内障图像修复中表现出色,无论是在定量实验还是用户研究中,都证明了其有效性和强大的修复能力。并且,Catintell-Res 对不同来源的白内障图像具有通用的修复能力,这为眼科临床诊断提供了有力的支持。不过,该研究也存在一定的局限性,比如 Catintell-Res 无法处理严重模糊的图像,数据集还存在一些潜在问题,且受限于 GPU 内存,目前无法使用扩散模型。但研究人员计划进一步扩大数据集、改进模型结构、拓展模型应用领域并探索使用轻量级扩散模型,相信这些后续研究将进一步提升 Catintell 模型的性能,为眼科医学的发展带来更多的可能,为白内障患者的诊断和治疗提供更有效的帮助。

下载安捷伦电子书《通过细胞代谢揭示新的药物靶点》探索如何通过代谢分析促进您的药物发现研究

10x Genomics新品Visium HD 开启单细胞分辨率的全转录组空间分析!

欢迎下载Twist《不断变化的CRISPR筛选格局》电子书

单细胞测序入门大讲堂 - 深入了解从第一个单细胞实验设计到数据质控与可视化解析

下载《细胞内蛋白质互作分析方法电子书》

相关新闻
    生物通微信公众号
    微信
    新浪微博

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号

    生物通精彩推荐 • 综述:了解猴痘的死灰复燃:非洲近期疫情的关键驱动因素及经验教训 • 非经典小非编码 RNA:胃癌早期诊断的新希望 —— 血浆细胞外囊泡中的潜在生物标志物