多模态MRI级联增量重建技术结合粗到细的空间配准

《Magnetic Resonance Imaging》：Multi-modal MRI cascaded incremental reconstruction with coarse-to-fine spatial registration

本文提出一种端到端的多模态压缩感知MRI重建网络，包含空间配准和级联增量重建两个子网络。前者通过迭代预测变形流场实现模态对齐，后者利用分离交叉窗口Transformer融合跨模态和同模态特征，有效提升低采样MRI重建质量。

　　MRI技术作为一种非侵入性且无辐射的医学成像方法，在医学诊断、临床分析和疾病分期等领域得到了广泛应用。在实际的MRI扫描过程中，图像数据通常以k空间的形式进行采集，然后通过逆傅里叶变换得到最终的图像。然而，MRI的扫描时间通常较长，这不仅影响了患者的体验，还容易因患者移动而引入运动伪影，影响图像质量。为了解决这一问题，压缩感知MRI（CS-MRI）技术应运而生，它通过在k空间中进行欠采样，再利用计算算法进行图像重建，从而显著缩短扫描时间。尽管CS-MRI在提高效率方面表现突出，但欠采样也会导致图像中出现明显的混叠和伪影，影响重建结果的准确性。

当前的MRI重建方法主要依赖于图像在特定变换域中的稀疏性，如小波变换、离散余弦变换和有限差分模型等。这些方法通过稀疏先验约束来提高图像重建的质量。然而，稀疏先验在描述MRI图像结构复杂性方面存在局限，难以充分捕捉图像的细节和纹理信息。此外，基于学习字典的方法虽然提升了图像表示能力，但由于缺乏快速的逆变换，重建过程往往较为耗时。随着深度学习技术的发展，越来越多的研究开始尝试使用深度网络来提升MRI重建效果。例如，卷积神经网络（CNN）因其强大的局部特征提取能力，被广泛应用于MRI重建任务中。一些研究进一步改进了CNN结构，如设计深度级联网络、引入密集残差块等，以提高重建质量。然而，CNN在捕捉长距离依赖关系方面仍存在不足，这限制了其在复杂MRI图像重建中的应用。

近年来，Transformer架构在自然语言处理（NLP）领域取得了显著成果，其自注意力机制能够有效捕捉图像中的全局信息，解决了CNN在处理长距离依赖关系时的局限。因此，Transformer也被引入到MRI重建任务中，展现出优越的性能。例如，ReconFormer通过引入循环金字塔Transformer层，结合多尺度信息和递归状态，提升了MRI图像的重建质量。SwinGAN则利用Swin Transformer作为主干网络，有效捕捉长距离依赖关系，并通过上下文图像相对位置编码器增强局部信息的捕捉能力。Trans-net则在残差图像域中对误差图施加正则化约束，以保留MRI图像中的细节信息。这些方法在单模态MRI重建方面取得了良好的效果，但大多数仍局限于单模态图像的处理，未能充分利用多模态数据之间的互补性。

在临床实践中，MRI扫描通常会获取多种对比度图像，如T1加权、T2加权、质子密度加权和扩散张量成像（DTI）加权等。这些多对比度图像能够提供关于特定感兴趣区域的更全面的信息，帮助医生评估不同的组织特性、病理特征和生理过程。因此，探索多对比度MRI图像之间的相关性，对于提升CS-MRI的重建质量具有重要意义。然而，现有的MRI重建方法大多仅使用单一对比度图像，或者采用简单的多对比度融合机制，忽略了不同对比度图像之间的丰富关系，从而限制了重建效果的提升。

为了解决上述问题，本文提出了一种面向多模态CS-MRI重建的端到端网络模型，该模型集成了空间配准和级联增量重建两个子网络。空间配准子网络采用从粗到细的方式，预测欠采样目标图像与全采样辅助图像之间的变形流场，逐步对齐两者以消除空间偏移。级联增量重建子网络则采用一种新的分离交叉窗口Transformer（SC2Win Transformer）作为基本组件，并在双路径结构中提取目标图像和辅助图像的跨模态与内模态特征，实现两者的特征融合。通过级联学习机制，模型能够从融合的特征中逐步恢复增量细节，并持续优化目标图像的重建结果。实验验证表明，该模型在IXI脑部数据集上的表现优于现有方法，展现出更高的重建质量。

在模型设计方面，本文的网络分为两个主要阶段：空间配准子网络和级联增量重建子网络。空间配准子网络的核心目标是将欠采样目标图像与全采样辅助图像进行对齐，以消除由于空间偏移和成像参数差异导致的配准误差。这一过程通过迭代预测变形流场实现，流场的预测基于图像之间的相似性特征，逐步调整辅助图像的位置，使其与目标图像在空间上对齐。为了提高配准的准确性，空间配准子网络采用了多尺度特征融合策略，结合不同层次的特征信息，确保对齐过程的鲁棒性和精确性。此外，该子网络还引入了注意力机制，以增强对关键区域的配准能力，从而减少配准误差对后续重建的影响。

级联增量重建子网络则专注于从对齐后的辅助图像和目标图像中提取跨模态和内模态特征，并通过特征融合实现高质量的MRI图像重建。该子网络采用SC2Win Transformer作为基本组件，其设计灵感来源于Transformer在NLP领域的成功应用。SC2Win Transformer通过引入分离的交叉窗口机制，能够更有效地捕捉不同模态图像之间的相关性，同时保留各模态图像内部的细节信息。在双路径结构中，该Transformer分别处理目标图像和辅助图像的特征，然后将提取的跨模态和内模态特征进行融合，以增强重建过程的鲁棒性和准确性。此外，级联增量重建子网络还借鉴了残差学习的思想，通过迭代预测欠采样图像与全采样图像之间的差异，并利用这些差异作为补偿信息，逐步优化重建结果。这种迭代机制不仅能够逐步恢复图像的细节，还能有效减少伪影，提高重建图像的质量。

为了验证所提出模型的有效性，本文在IXI脑部数据集上进行了实验。IXI数据集包含了多种对比度的3D健康脑部MRI图像，如T1加权、T2加权、质子密度加权和扩散张量成像（DTI）加权图像。这些数据为评估多模态MRI重建模型提供了丰富的测试样本。实验中，模型采用DTI和质子密度加权MRI作为配准对，以验证非刚性配准模型的效果。结果表明，所提出的模型在重建质量、细节保留和伪影抑制等方面均优于现有方法。特别是在低采样率下，模型能够更有效地恢复图像的细节信息，显著提升了重建图像的清晰度和准确性。

本文的主要创新点包括：首先，提出了一种多模态MRI级联增量重建模型，能够充分利用全采样辅助图像的信息，辅助欠采样目标图像的重建，从而实现高质量的MRI图像生成。其次，设计了一个空间配准子网络，通过迭代预测变形流场，逐步对齐不同模态的图像，提高配准的准确性。第三，引入了一种新的分离交叉窗口Transformer，通过双路径结构提取跨模态和内模态特征，并实现两者的有效融合，从而提升重建效果。此外，模型还结合了残差学习的思想，通过迭代机制逐步优化重建结果，使得模型能够在低采样率下依然保持较高的图像质量。

在实际应用中，本文提出的模型对于提升MRI成像效率和图像质量具有重要意义。随着医疗影像技术的不断发展，MRI成像的时间和成本仍然是影响其普及的重要因素。通过采用压缩感知技术，结合深度学习模型，可以显著缩短扫描时间，提高成像效率。同时，多模态数据的融合能够提供更丰富的诊断信息，帮助医生更全面地评估患者的病情。本文所提出的模型不仅能够有效解决多模态MRI重建中的配准和特征融合问题，还能在低采样率下保持较高的重建质量，为临床应用提供了新的思路和技术手段。

此外，本文的研究成果对于推动MRI技术的发展也具有一定的参考价值。当前，MRI技术仍然面临诸多挑战，如扫描时间长、运动伪影严重、图像质量受限等。本文提出的模型通过引入空间配准和级联增量重建机制，为解决这些问题提供了新的解决方案。特别是在多模态数据处理方面，模型展示了良好的应用前景，能够为医学影像分析提供更准确、更高效的工具。未来，随着深度学习技术的不断进步，MRI重建模型将进一步优化，提高重建效果和应用范围，为临床诊断和研究提供更加可靠的支持。

总的来说，本文的研究成果为多模态MRI重建提供了一种新的方法，通过空间配准和级联增量重建相结合的方式，有效解决了多模态数据融合和重建过程中的关键问题。模型在IXI脑部数据集上的实验结果表明，其在图像质量、细节保留和伪影抑制等方面均优于现有方法，具有较高的应用价值。未来，随着数据集的扩展和模型的优化，该方法有望在更广泛的医学成像场景中得到应用，为医学影像分析提供更加精准和高效的工具。