《Scientific Reports》:CBCT-to-CT synthesis using a hybrid U-Net diffusion model based on transformers and information bottleneck theory
编辑推荐:
在图像引导放射治疗(IGRT)中,锥束计算机断层扫描(CBCT)图像存在严重伪影和噪声,影响其应用。研究人员开展基于 Vision Transformer(ViT)和信息瓶颈理论的混合 U - Net 扩散模型(HUDiff)合成 CT 图像的研究。结果显示该模型性能优于现有方法,有望助力精准放疗计划制定。
在医学影像领域,图像引导放射治疗(IGRT)对于精准放疗意义重大。计算机断层扫描(CT)因成像质量优越,成为医学诊断和 IGRT 的关键工具。然而,仅依靠治疗前的 CT 图像存在弊端,患者治疗过程中解剖结构会发生变化,这可能导致对关键器官的辐射剂量输送不准确,降低肿瘤控制效果,还会增加过度辐射和关键器官剂量的风险。
锥束计算机断层扫描(CBCT) 则作为一种高效的日常或每周验证工具,能快速获取图像且减少辐射暴露,便于精准患者定位。但 CBCT 图像存在严重的伪影、较低的图像质量和分辨率,以及不准确的亨氏单位(HU),使得正常器官和肿瘤边界难以准确识别,阻碍了 CBCT 的定量应用和基于 CBCT 的自适应放疗(ART)。因此,提高 CBCT 图像质量迫在眉睫。
为了解决这些问题,河海大学计算机与软件学院、南京医科大学第四附属医院等机构的研究人员开展了一项研究。他们提出了一种基于 Vision Transformer(ViT) 和信息瓶颈理论的混合 U - Net 扩散模型(HUDiff),旨在将 CBCT 图像合成为类似 CT 质量的图像。
研究人员为开展这项研究,采用了以下几个主要关键技术方法:首先是条件扩散模型,在正向过程中向 CT 图像添加噪声,在反向过程中利用 U - Net 架构进行去噪,通过训练神经网络参数来估计噪声;其次构建了基于 ViT 的 U - Net 框架,引入了变分信息瓶颈(VIB)模块和动态调制因子;此外,使用了来自南京医科大学第四附属医院的脑肿瘤和头颈部癌症患者的 CT 和 CBCT 图像作为样本队列,并进行数据预处理和多指标评估。
研究结果如下:
不同方法比较 :通过对脑和头颈部(H&N)数据集的实验,在多个评价指标上,HUDiff 模型表现最优。在脑数据集上,平均绝对误差(MAE)为 23.3114,峰值信噪比(PSNR)达到 31.3410,结构相似性指数(SSIM)为 0.9862,归一化互相关(NCC)为 0.9831;在 H&N 数据集上,MAE 为 26.1114,PSNR 为 30.8847,SSIM 为 0.9802,NCC 为 0.9798。t 检验表明,HUDiff 模型与其他算法相比具有显著优势。
消融研究 :以 DDPM 为基线网络,逐步叠加不同功能模块进行消融实验。结果显示,ViT 模块、信息瓶颈 MLP(IB - MLP)模块和动态调制因子(DMF)模块均对模型性能提升有积极贡献,其中 ViT 模块贡献最为显著。
视觉呈现和主观评价 :通过多角度可视化和主观评价,发现 HUDiff 模型生成的图像噪声和伪影更少,细节更准确真实,边界更清晰,在主观临床评分上与参考图像 CT 接近,具有很高的真实性。
肿瘤靶区勾画和剂量分布 :对生成的合成 CT(sCT)进行三维重建,结果显示其能保留原始解剖特征,组织在各维度上连续性良好,剂量 - 体积直方图(DVH)比较表明,sCT 与真实 CT 的剂量分布高度一致,验证了该方法在临床放疗计划中的潜在应用价值。
剂量计算 :在不同剂量条件下,HUDiff 模型生成的 sCT 剂量分布与临床协议高度一致,在不同解剖部位都展现出良好的临床适用性和稳健性。
模型可解释性 :通过可视化不同模块的降噪效果,验证了 HUDiff 模型在 CBCT 到 CT 图像合成任务中的有效性,该模型能有效去除噪声,恢复全局和局部细节。
模型复杂性 :与其他模型相比,HUDiff 模型在平衡计算复杂性和生成质量方面具有显著优势,更适合高质量图像合成应用。
研究结论和讨论部分指出,HUDiff 模型在生成高质量 sCT 图像方面表现卓越,优于现有算法。该模型有效解决了传统扩散模型在捕获图像全局语义信息、保留局部细节和确保解剖一致性方面的挑战。未来研究可进一步拓展 HUDiff 模型在肿瘤靶区勾画的应用,优化模型架构和算法以降低计算需求,探索基于 3D 成像的扩散模型。总之,这项研究为精准放疗提供了更可靠的图像基础,有望推动放疗技术的发展,提高肿瘤治疗效果,具有重要的临床意义和研究价值。
闂佺懓鐏氶幑浣虹矈閿燂拷
婵炴垶鎸搁鍫澝归崶鈹惧亾閻熼偊妲圭€规挸瀛╃€靛ジ鏁傞悙顒佹瘎闁诲孩绋掗崝鎺楀礉閻旂厧违濠电姴娲犻崑鎾愁潩瀹曞洨鐣虹紓鍌欑濡粓宕曢鍛浄闁挎繂鐗撳Ο瀣煙濞茶骞橀柕鍥ㄥ哺瀵剟骞嶉鐣屾殸闂佽偐鐡旈崹铏櫠閸ф顥堥柛鎾茬娴狀垶鏌曢崱妤婂剱閻㈩垱澹嗗Σ鎰板閻欌偓濞层倕霉閿濆棙绀嬮柍褜鍓氭穱铏规崲閸愨晝顩烽柨婵嗙墦濡鏌涢幒鎴烆棡闁诲氦濮ょ粚閬嶅礃椤撶姷顔掗梺璇″枔閸斿骸鈻撻幋锔藉殥妞ゆ牗绮岄埛鏍煕濞嗘劕鐏╂鐐叉喘閹秹寮崒妤佹櫃
10x Genomics闂佸搫鍊瑰姗€骞栭—娓媠ium HD 閻庢鍠掗崑鎾绘煕濮樼厧鐏犵€规洜鍠撶槐鎺楀幢濮橆剙濮冮梺鍛婂笒濡粍銇旈幖浣瑰仢闁搞儮鏅滈悾閬嶆煕韫囧濮€婵炴潙妫滈妵鎰板即閻樼數鐓佺紓浣告湰濡炶棄螞閸ф绀嗛柛鈩冡缚閳ь兛绮欓弫宥夋晸閿燂拷
濠电偛妫庨崹鑲╂崲鐎n偆鈻旈悗锝庡幗缁佺櫉wist闂侀潧妫楅敃锝囩箔婢舵劕妫樻い鎾跺仜缂嶄線鏌涢弽銊у⒈婵炲牊鍘ISPR缂備焦绋掗惄顖炲焵椤掆偓椤︿即鎮ч崫銉ゆ勃闁逞屽墴婵″鈧綆鍓氶弳鈺呮倵濞戞瑥濮冮柛鏃撴嫹
闂佸憡顨嗗ú婊呭垝韫囨稒鍤勯柣鎰嚟閵堟挳骞栭弶鎴犵闁告瑥妫濆濠氬Ω閵夛絼娴烽柣鐘辩劍瑜板啴鎮ラ敓锟� - 濠电儑绲藉畷顒勫矗閸℃ḿ顩查柛鈩冾嚧閹烘挾顩烽幖杈剧秵閸庢垵鈽夐幘顖氫壕婵炴垶鎼╂禍婊冪暦閻旇櫣纾奸柛鈩冭壘閸旀帡鎮楅崷顓炰槐闁绘稒鐟ч幏瀣箲閹伴潧鎮侀梺鍛婂笧婢ф寮抽悢鐓庣妞ゆ柨鐏濈粣娑㈡煙鐠ㄥ鍊婚悷銏ゆ煕濞嗘ê鐏ユい顐㈩儔瀹曠娀寮介顐e浮瀵悂鏁撻敓锟�
婵炴垶鎸搁鍫澝归崶顒€违濠电姴瀚惌搴ㄦ煠瀹曞洤浠滈柛鐐存尦閹藉倻鈧綆鍓氶銈夋偣閹扳晛濡虹紒銊у閹峰懎饪伴崘銊р偓濠氭煛鐎n偄濮堥柡宀€鍠庨埢鏃堝即閻樿櫕姣勯柣搴㈢⊕閸旀帡宕濋悢鐓幬ラ柨鐕傛嫹