通过卷积神经网络回归和质心对齐实现实时2D/3D配准

《IEEE Transactions on Automation Science and Engineering》：Real-Time 2D/3D Registration via CNN Regression and Centroid Alignment

针对慢性颈动脉闭塞症（CCAO）手术中实时2D/3D影像配准的挑战，提出基于CNN回归与质心对齐的新型框架，有效降低参数估计误差，提升配准精度（最高85.39%），实现21 FPS实时推理，满足临床需求。

　　

摘要：

术前3D体积数据和术中2D图像的配准对于神经介入治疗至关重要。在各种2D/3D配准任务中，基于深度学习的方法已经变得非常流行，并取得了巨大的成功。然而，由于变换参数的空间范围非常广泛，这些方法中的估计误差相当显著。为了解决上述问题，本文提出了一种新的基于学习的2D/3D配准框架，该框架包括CNN回归和质心对齐技术。前者引入了一个残差回归网络（Res-RegNet）来初步估计变换参数；后者利用目标血管的质心来精细化投影图像。该框架在三名患者身上分别进行了训练和评估，平均Dice分数分别为76.69%、78.51%和85.39%，均优于基线方法。广泛的消融研究表明，质心对齐可以显著提高配准性能。作为Res-RegNet中的归一化层，SPADE可以通过空间自适应的学习变换来调节激活值，从而保留输入的语义信息，以获得更好的参数估计表示。此外，结合最先进的分割模型，我们的框架推理速率约为21 FPS，远超过临床实践中的实时要求（6 12 FPS）。这些有希望的结果表明，该框架在促进各种2D/3D配准任务方面具有潜力。致实践者注意——本文的动机来源于图像引导的神经介入治疗问题。现有的2D/3D配准方法存在以下问题：1）迭代时间过长，难以满足实时临床需求；2）参数估计误差较大，导致配准精度较低。因此，本文提出了一种新的配准框架，结合了CNN回归技术...

显示更多

引言

慢性颈动脉闭塞（CCAO）占缺血性中风的6.8%至8.8%[1]。其管理面临重大挑战，表现为中风复发率显著升高和总体预后不佳。近年来，针对CCAO的神经介入治疗因创伤小和术后恢复快而受到广泛关注[2]。在介入治疗过程中，医生需要在数字减影血管造影（DSA）的实时引导下将介入器械送入闭塞段[2]、[3]。然而，由于闭塞段没有血流，它们在DSA图像中无法显示（如图1所示）。医生只能根据导丝的力反馈和自身经验来操作。导丝的方向很容易出错，这可能导致手术终止、血管壁损伤甚至严重并发症[2]。目前，血管再通的成功率不高（60%-70%），手术并发症的发生率也很高（17%）[3]。图1.

DSA中的噪声示意图。目标血管（未闭塞段）用黄色框中的红色标记。蓝色框表示一些噪声。目标血管在DSA中只占很小的一部分。明显的噪声来自DSA中的非目标血管。闭塞段在DSA中不可见，其大致方向由医生根据自身经验估计（RCA：右颈动脉；Filt. 5：滤波器参数）。