深度学习赋能骨科手术托盘智能检测，开启医疗质量管控新篇

为解决骨科手术托盘人工检测弊端，研究人员开发端到端视觉检测方案，mAP@0.5 达 0.94，意义重大。

　　在医疗领域，骨科手术托盘的准确检查至关重要。它就像手术的 “百宝箱”，里面的各种组件必须齐全且放置正确，才能保障手术顺利进行。然而，传统的人工检查方式存在诸多问题，不仅耗费大量人力和时间，而且容易出现疏漏。想象一下，在忙碌的医疗工作中，人工逐一检查托盘里的众多组件，稍有疏忽就可能导致手术时缺少关键器械，影响手术进程甚至患者安全。因此，开发一种高效、准确的自动化检测方法迫在眉睫。

来自美国强生公司（Johnson and Johnson）数字与数据科学部门的研究人员 Reyhaneh Nosrati、Nastaran Emaminejad 等人开展了一项极具意义的研究。他们致力于开发一种端到端的自动化流程，借助深度学习算法实现对骨科手术托盘的自动检测，该研究成果发表在《Scientific Reports》上。这一成果意义非凡，它大幅提高了检测效率，将检查时间缩短了 47.3%，同时保证了检测的高精度，为医疗质量管控提供了有力支持。

研究人员为开展这项研究，运用了几个关键技术方法。在数据方面，收集了 74 个手术托盘的视频数据，包含 1039 种独特组件，将其划分为训练集和验证集，还选取 10 个托盘在 12 种场景下采集 139 张图像作为测试集。模型训练上，采用了 Faster - RCNN 和 YOLO 系列模型，其中对 YOLOv7 进行改进，定制了损失函数和非极大值抑制（NMS）算法。布局验证时，利用预训练的局部特征匹配与 Transformer（LoFTR）模型和通用随机抽样一致边际抽样一致（USAC - MAGSAC）方法，来判断组件位置是否正确。

下面来看具体的研究结果：

1. 模型性能对比：研究人员对多种目标检测模型进行训练和评估，如 YOLO 系列和 Faster - RCNN 系列。结果显示，总体上 YOLO 系列模型在各个测试场景下表现更优。以 YOLOv7 - X 原损失函数模型为例，其平均精度均值（mAP@50）达到 0.94 ，假阴性率（FNR）为 2% ，假阳性率（FPR）为 6%。而 Faster - RCNN 系列模型在检测复杂托盘时，假阴性率较高，尤其在相机角度、光照等条件变化时表现不佳。
2. 布局验证效果：通过使用预训练的 LoFTR 模型和 USAC - MAGSAC 方法进行布局验证，研究人员成功将参考训练图像的注释转换到测试图像上，准确率超过 99.5%。这意味着可以精准判断组件在托盘上的位置是否正确，无论是组件缺失、放错位置，还是托盘在不同光照、角度下，都能有效识别。
3. 综合检测能力：在 12 种现实测试场景下，研究人员用开发的端到端流程对 139 张检测图像进行评估，总体 mAP@0.5 达到 0.94 ± 0.10 ，FPR 为 0.05 ± 0.08。在 7 个场景中，mAP 超过 0.99，能够准确识别出手术托盘中的各类组件，并标记出缺失或放错位置的组件。

研究结论和讨论部分进一步凸显了该研究的重要意义。研究人员开发的端到端自动化检测流程，涵盖了目标检测模型和布局验证算法，有效解决了人工检测的局限性。该框架可通过单个模型检测超 1000 类物体，维护简便，降低了工业应用中的维护和基础设施成本。而且具有良好的扩展性，能根据新数据集进行重新训练，以适应新的手术托盘和组件。同时，它还能在移动设备上快速运行，在 1 秒内给出检测结果，方便医护人员在实际工作中使用。不过，研究也存在一些不足，比如训练数据集中部分组件外观相似，数据多样性不足。未来，研究人员计划通过实施新的数据收集标准操作程序（SOP），采用多模态方法结合文本信息，以及增加对目标检测结果的评估等方式，进一步提升检测精度。并且，他们还打算将该流程的应用扩展到关节和创伤手术托盘领域。

这项研究为骨科手术托盘的检测带来了创新解决方案，在医疗质量控制方面迈出了重要一步，有望推动整个医疗行业的自动化检测发展，为患者的手术安全提供更可靠的保障。