基于自注意力和联合深度 - 姿态损失的腹腔镜图像增强自监督单目深度估计：提升手术导航精度

《International Journal of Computer Assisted Radiology and Surgery》：Enhanced self-supervised monocular depth estimation with self-attention and joint depth-pose loss for laparoscopic images

为解决腹腔镜手术中深度和姿态估计困难的问题，研究人员开展基于自注意力引导姿态估计和联合深度 - 姿态损失函数的自监督单目深度估计方法研究。结果显示该方法在多个指标上有提升，在计算效率和性能间取得平衡，对腹腔镜手术导航有重要意义。

　　在腹腔镜手术这个 “微观战场” 上，医生们面临着诸多挑战。腹腔镜手术凭借创伤小、恢复快等优势，成为现代外科手术的重要手段，但手术视野狭窄、深度感知困难却让医生们的操作难度大大增加。深度信息在计算机辅助手术系统中至关重要，它就像手术中的 “第三只眼”，能帮助医生精准定位、规划手术路径，还能助力虚拟和增强现实技术在手术培训中的应用。

然而，现有的深度估计方法在腹腔镜场景中却遭遇 “滑铁卢”。以往用于自动驾驶和静态场景的深度估计方法，依赖大量标注数据，可腹腔镜手术的图像有其独特性。器官表面光滑、纹理区域少，导致检测到的关键点稀疏，即使像素位置有明显偏移，光度误差也不明显；而且腹腔镜在狭小空间内复杂转动，微小的平移使相邻图像差异不明显，复杂的旋转更是增加了姿态预测的难度。这些都使得现有方法难以在腹腔镜图像深度估计中发挥良好作用，一些尝试引入辅助任务的方法，又增加了网络参数，对计算和存储资源要求过高，不利于临床应用。

为了突破这些困境，名古屋大学（Graduate School of Informatics, Nagoya University）的研究人员开展了一项关于腹腔镜图像深度估计的研究。他们提出了一种新颖且有效的自监督单目深度估计方法，该方法结合自注意力引导的姿态估计和联合深度 - 姿态损失函数，相关研究成果发表在《International Journal of Computer Assisted Radiology and Surgery》上。

研究人员在开展研究时，主要采用了以下关键技术方法：将自监督单目深度估计视为视图合成问题，构建深度估计模型和姿态估计模型；在姿态估计网络中引入自注意力机制，聚焦图像中的关键区域；提取特征图，计算特征度量损失（Lf?）、姿态损失（Lp?）等，并将这些损失结合成联合深度 - 姿态损失函数（Ltotal?） 。实验采用 SCARED 和 Hamlyn 数据集，将数据集按 10:1 的比例划分为训练集和测试集。

下面来看具体的研究结果：

• 数据集及实验设置：使用 SCARED 和 Hamlyn 数据集进行实验，将图像下采样到 320×256 像素。模型基于 PyTorch 库开发，采用 Adam 优化器，训练 30 个 epoch，学习率初始化为10?4 ，15 个 epoch 后衰减为 0.1，训练批次大小为 12。
• 对比结果：与多种现有方法对比，在 SCARED 数据集上，该方法绝对相对误差（Abs Rel）为 0.068±0.001 ，相比其他方法有显著提升；在 Hamlyn 数据集上，Abs Rel 为 0.154±0.001 ，同样表现出色。定性结果显示，该方法在不同腹腔镜场景中能生成平滑且误差低的深度图。
• 消融研究：通过对自注意力块（SB）、特征度量损失函数（Lf?）和姿态损失函数（Lp?）三个组件的消融研究发现，每个组件都对方法的性能有贡献，当所有组件结合时，性能提升最为显著。

研究结论和讨论部分指出，该研究提出的方法在多个方面具有重要意义。从性能上看，与现有方法相比，该方法在 SCARED 和 Hamlyn 数据集上都有更好的表现，且计算效率更高，在减少网络参数的同时提升了性能，在计算效率和性能之间达到了良好的平衡。不过，该方法也存在一定局限性，在深度变化剧烈的区域，如手术器械边缘，容易产生较大误差。未来，研究人员将考虑实时手术场景中软组织的非刚性变换问题，尝试利用 3D 信息和时间信息进一步提升深度估计的准确性。这项研究为腹腔镜手术导航提供了更有效的深度估计方法，有望推动计算机辅助腹腔镜手术技术的发展，提高手术的精准度和安全性。