基于表面肌电与加速度计的可解释机器学习量化手术技能并识别专业水平生物标志物

《Scientific Reports》：Explainable machine learning using EMG and accelerometer sensor data quantifies surgical skill and identifies biomarkers of expertise

本研究针对传统外科技能评估主观性强、可扩展性差的问题，开发了一种结合表面肌电信号(sEMG)和加速度计数据的可解释机器学习(XAI)框架。研究人员通过分析26名不同经验水平外科医生在标准化机器人手术任务中的上肢肌肉活动与运动数据，利用非线性动力学特征(如李雅普诺夫指数、熵、分形维数)和SHAP/LIME等解释性技术，成功实现了对新手、住院医师和专家三个技能层级的分类(最高准确率达72.5%)，并识别出反映运动控制稳定性、复杂性和适应性的关键神经肌肉生物标志物。该研究为外科教育提供了客观、可解释且可扩展的技能评估新工具。

　　

在外科领域，技术熟练度是决定患者预后和手术质量的关键因素。研究表明，技术排名前四分位的外科医生其并发症发生率(5.2%)显著低于后四分位者(14.5%)。然而，传统的技能评估主要依赖专家观察和全球评分量表，这种方法虽然有一定价值，但本质上是主观的且耗费大量资源。随着机器人手术和基于模拟的课程不断扩展，对客观、可扩展且可解释的技能评估方法的需求变得日益迫切。

近年来，传感器技术和机器学习的进步使得对手术表现进行更量化的评估成为可能。可穿戴传感器和运动追踪系统能够在标准化任务中捕获关于外科医生技术的丰富数据。例如，先前的研究表明，可以利用表面肌电信号(sEMG)监测肌肉激活情况，并结合器械运动的运动学测量来评估模拟缝合、 peg transfer（钉板转移）或打结等任务的表现。应用机器学习(ML)算法处理此类多模态数据集，在区分新手和专家方面显示出潜力，有时能达到较高的分类准确度。然而，尽管大多数基于ML的手术技能评估研究使用运动学或运动数据，但仅有约1%的研究整合了如sEMG这样的生理信号。

除了运动追踪，一些研究团队证明，可穿戴的力和肌肉活动信号可以支持准确、可扩展的技术技能评估。例如，有研究使用传感器手套捕获显微外科任务中的指尖力，并训练深度学习模型来分类外科医生的专业水平，实现了高准确度，证明了力特征对于技能评估的价值。类似地，另一项研究利用运动信号上的深度神经网络来区分新手和专家的表现。然而，这些模型通常是“黑箱”，对于为何将某项表现评定为新手、中级或专家缺乏透明度，这成为其在外科教育中应用的障碍。

与此同时，使用可穿戴生物传感器的研究正在兴起。有研究将sEMG和加速度计结合用于腹腔镜图案切割任务，表明多模态的肌肉-运动学特征能反映经验水平。这些研究表明，生理和力信号携带着与运动学互补的信息，可用于客观的技能评估。

在此研究背景下，本研究聚焦于从机器人缝合和钉板转移任务期间的生理(sEMG)和惯性(加速度计)信号中进行可解释学习。与先前主要针对力或运动数据优化准确度的深度模型不同，本研究的目标是：(i) 量化三个层次(新手/中级/专家)的技能；(ii) 识别与运动控制概念相关的可解释神经肌肉生物标志物(例如，熵、李雅普诺夫稳定性、分形度量)；(iii) 通过SHAP/LIME提供实例级别的解释，这些解释可以转化为有针对性的反馈。这通过揭示专家表现背后的肌肉控制策略，补充了力手套和视频/运动学方法。

整合肌肉激活模式为技能评估提供了一个新的维度——提供了对新手和专家外科医生可能不同的运动控制策略和努力水平的洞察——因此代表了提高评估保真度的一个尚未充分探索的途径。

在手术教育和评估中部署机器学习的一个关键挑战是模型输出的可解释性。产生单一分数或评级的传统评估（甚至是黑盒ML模型）通常无法提供关于受训者如何改进的具体反馈。对此，越来越强调可解释人工智能(XAI)技术，以确保自动化技能评估工具是透明且临床可解释的。可解释性对于获得临床医生的信任以及将算法评估转化为可操作的反馈至关重要。值得注意的是，最近的工作已经证明了XAI在该领域的价值。例如，一项关于外科手术的研究在分类外科医生技能方面达到了高准确度(89-94%)，并使用SHapley Additive exPlanations(SHAP)来识别区分经验丰富外科医生和新手的关键运动和力特征。这种可解释的模型为技术欠佳的外科医生提供了可视化的实时反馈，突出了他们表现中需要改进的具体方面。作者总结认为，此类可解释的ML方法可以显著增强客观技能评估并指导有针对性的培训干预。更广泛地说，外科界认识到透明度和可解释性对于将AI模型有效整合到临床实践至关重要。

本研究提出了一种严谨的方法来客观评估机器人泌尿外科手术中的技能，重点关注临床相关性、方法严谨性和模型可解释性。研究招募了主治医生、研究员和住院医生，并根据他们从事机器人手术的年资将其分为新手、中级和专家组。所有参与者执行了标准化的机器人缝合和打结任务，这些是泌尿外科手术培训和模拟课程的关键组成部分。在这些任务过程中，使用sEMG传感器（从关键的上肢肌肉群捕获肌肉激活）和加速度计收集高分辨率的表现数据。然后训练机器学习模型来分析这个多模态数据集，并自动区分技能水平。关键的是，将XAI技术（如特征分析和模型无关的可解释性方法）应用于训练好的模型，以识别最显著的手术专业知识的肌肉和相关数字生物标志物。通过阐明哪些特定的肌肉和相关数字生物标志物指标有助于熟练与非最佳表现，我们的方法产生了超越原始技能分数的可解释的见解。这些见解强调了个体表现背后的“原因”，提供了具体的改进目标。识别关键生物力学因素的能力使得可操作的反馈成为可能——例如，建议受训者调整握持技术或减少多余的运动——并可以为个性化的训练方案提供信息。此外，通过突出客观的技能数字生物标志物，该方法可以扩展到随时间推移监控技能发展，或指导外科医生在受伤后恢复或在一段时间不活动后重新培训的康复策略。总之，我们的工作表明，将多模态传感器数据与可解释的机器学习相结合，可以增强机器人手术中技能评估的客观性、可解释性和实用性，最终支持更好的培训结果和患者护理。

为了开展这项研究，研究人员招募了来自加州大学欧文分校泌尿外科的26名参与者，并根据手术经验和熟练程度分为三组：新手组（n=10，无手术培训或临床经验的本科生或医学生）、中级组（n=11，PGY 1-5的泌尿外科住院医生）和专家组（n=5，具有超过5年独立手术经验的执业泌尿科医生）。参与者执行了三种标准化的机器人手术任务（钉板转移、打结和机器人缝合），同时使用Delsys? Trigno无线传感器从12个上肢肌肉部位记录sEMG和运动数据。sEMG信号采样率为2000 Hz，加速度计信号为148 Hz。数据经过预处理（滤波、伪影去除、缺失值插补、标准化）后，提取了时域、频域特征以及非线性动力学度量（如李雅普诺夫指数、熵、分形维数、Hurst指数）。使用支持向量机(SVM)、随机森林(Random Forest)、XGBoost和高斯朴素贝叶斯(Naive Bayes)四种监督机器学习模型进行多分类（新手、中级、专家）。为避免数据泄露，采用了基于参与者的80/20训练测试分割和分组交叉验证。模型性能通过准确度、F1分数、马修斯相关系数(MCC)和AUC等指标评估。为了确保可解释性，应用了SHAP和LIME来识别和可视化区分技能水平的关键特征。

研究结果显示，集成模型（XGBoost和随机森林）优于其他模型。XGBoost达到了72.5%的分类准确度，F1分数为72.4%，MCC为0.589；随机森林的准确度为71.6%，F1分数为71.4%，MCC为0.575。SVM（准确度59%，MCC 0.38）和朴素贝叶斯（准确度54.7%，MCC 0.25）表现较差。非线性动力学特征，特别是平均长程李雅普诺夫指数(Mean_Long_LyE)、关联维数(Correlation Dimension)、近似熵(Approximate Entropy)和Hurst指数， consistently ranked among the top predictors of surgical skill level。

通过SHAP和LIME等可解释性AI技术分析发现，不同技能级别由不同的特征集驱动。熵度量（如近似熵）最能识别新手模式，而分形和稳定性特征（如关联维数、Hurst指数）对专家表现的预测性更强。专家外科医生表现出更高的运动复杂性和时间一致性，反映在更高的熵和关联维数，以及与新手相比更低的李雅普诺夫指数上。这表明专家的运动模式更加稳定、适应性强且结构丰富，而新手的运动则倾向于不稳定、过于简单或嘈杂。

分类性能 across Models

• •
  Support Vector Machine (SVM): SVM模型实现了59%的分类准确度。类-wise性能指标显示所有技能水平的性能相对均衡，专家类的F1分数最高（F1=0.62）。总体敏感性和特异性分别为59%和79%，MCC为0.38，AUC为0.76。PCA和t-SNE可视化显示类间分离度一般，混淆矩阵表明中级和新手类别之间存在一些重叠。
• •
  Random Forest and XGBoost: 两种集成模型均优于SVM和朴素贝叶斯分类器。随机森林的总体准确度为71.6%，F1分数为71.4%，MCC为0.575。XGBoost性能略优，准确度为72.5%，F1分数为72.4%，MCC为0.589。类-wise分析表明，两个模型在预测专家类方面表现最佳（F1=0.78），其次是新手组和中级组。ROC曲线显示出对所有三个技能水平的强大判别能力。
• •
  Naive Bayes: 朴素贝叶斯分类器的总体准确度为54.7%，敏感性48.8%，特异性74.5%，MCC 0.25，AUC 0.65。中级组表现最好（F1=0.59），但专家组的召回率很低（0.26），表明存在频繁的误分类。

Explainable AI Analysis

• •
  Naive Bayes Explainability and Feature Attribution: SHAP分析揭示了朴素贝叶斯分类的前10个最重要特征，包括近似熵、样本熵和各种李雅普诺夫指数度量。LIME分析证实了类似的模式，突出了特定实例中熵相关特征的局部重要性。
• •
  Random Forest Interpretability: 随机森林模型实现了60%的准确度，ROC-AUC为0.97，显示出优异的判别能力，尽管专家类的召回率较低（12%）。SHAP和LIME一致地将平均长程李雅普诺夫指数(Mean_Long_LyE)、关联维数(Correlation Dimension)和广义Hurst指数(Generalized Hurst Exponent)确定为顶级预测因子。
• •
  XGBoost Interpretability: XGBoost实现了59%的分类准确度，ROC-AUC得分为0.96。SHAP和LIME的特征归因指出了类似的主导特征，但XGBoost更重视平均广义Hurst指数(Mean_Generalized_Hurst_Exp)和DFA相关指标。与随机森林类似，专家类的召回率较低（16%）。
• •
  Comparative Feature Insights Across Models: 在随机森林和XGBoost分类器中，非线性动态特征，包括李雅普诺夫指数（例如，Mean_Long_LyE）、关联维数和熵度量（例如，近似熵）， consistently emerged as the most predictive indicators of surgical skill level。随机森林偏爱Mean_Wolf_LyE和样本熵等特征，而XGBoost则更重视Hurst指数指标，如Mean_DFA_alpha和Mean_Generalized_Hurst_Exp。

Summary of Model Performance

在所有模型中，XGBoost（准确度=72.5%， F1=72.4%， MCC=0.589）和随机森林（准确度=71.6%， F1=71.4%， MCC=0.575）取得了最佳性能。相比之下，SVM（准确度=59%， MCC=0.38）和朴素贝叶斯（准确度=54.7%， MCC=0.25）表现较差。因此，集成模型在准确度上显示出13-18%的绝对提升，并具有更强的相关系数，证实了它们在区分技能水平方面的稳健性。SHAP和LIME为所有模型提供了透明的解释，使得识别关键的基于肌肉和动态的生物标志物成为可能。

本研究的结果强调，从EMG和加速度计信号中捕获的非线性运动特征为区分手术技能水平提供了关键信息。特别是，源自混沌理论和复杂性分析的指标——包括最大李雅普诺夫指数(LyE)、近似熵(ApEn)、关联维数(CD)和Hurst指数——成为区分专家、中级和新手外科医生的关键因素。这些特征量化了运动变异性和神经肌肉控制的细微差别，而线性指标或简单的性能度量可能会忽略这些方面。

例如，最大李雅普诺夫指数(LyE)反映了运动的局部动态稳定性；我们观察到专家外科医生的LyE值往往较低（表明运动轨迹更稳定，混沌程度更低），而新手则表现出较高的LyE，这与更混沌或不稳定的运动模式一致。这一发现与先前的观察结果一致，即经验丰富的外科医生比新手表现出更少的运动混沌性，表明专家即使在复杂的机器人任务中也能保持更平滑和更自稳定的运动。

相比之下，加速度计信号的基于熵的度量（如ApEn及其多尺度变体）在专家组中更高，表明信号复杂性更高。生理时间序列中熵的增加通常与通过练习发展的更具适应性、连接更丰富的神经肌肉控制网络相关。在我们的研究中，专家的运动在多个时间尺度上表现出高复杂性，而新手的运动则更规则或刻板。这与最佳运动变异性的概念一致，即熟练的表现者展示出复杂但受控的运动模式：他们的运动不是纯粹重复或僵化的，而是包含增强适应性的细微波动。事实上，运动控制领域先前的研究已经指出，专家在结果上可以同时表现出更少的变异性，但在运动模式上却更复杂。我们的发现强化了这一观点——专家以稳定的精度完成手术任务，同时仍表现出复杂的动力学，而新手则常常要么冻结自由度（导致过度规则、低复杂度的信号），要么产生不稳定的校正（高短期变异性但缺乏有用的多尺度结构）。

值得注意的是，加速度计信号的关联维数(CD)进一步支持了这些差异。CD——运动动力学自由度的一种分形度量——对于专家外科医生通常更高，这意味着专家在任务期间调动了更多协调的自由度。实际上，专家的运动策略可能涉及更广泛的动作和肌肉协同（增加了运动模式的有效维数），而新手倾向于限制或耦合他们的运动，产生低维（更僵化）的模式。这种解释与技能获取过程中已确立的进展一致，即新手最初限制运动自由度，而专家逐渐释放它们，从而实现更流畅和自适应的协调。事实上，我们的EMG分析显示，在某些任务中，专家外科医生的肌肉激活波动（RMS变异性）比新手更大，反映了对不同运动策略的刻意探索和更大的肌肉使用储备。专家这种“良性变异性”表明了灵活的运动控制和实时调整的能力，而新手较低的变异性可能意味着缺乏适应性或“一刀切”的策略。

Hurst指数，用于测量信号中的长程时间相关性，为这些差异提供了另一个视角。尽管我们观察到组间Hurst指数的差异不大，但存在一种趋势，表明专家运动信号具有更持久的长程相关性（H更接近0.5-1.0），而新手则表现出更多的反持久性或随机游走特征。专家数据中较高的Hurst指数可能意味着他们的运动趋势更具可预测性、更平滑（一旦启动一个运动轨迹，专家会以稳定的控制持续下去），而新手较低的指数可能反映了频繁的方向改变或校正，与较低效的运动计划一致。

总之，这些非线性特征描绘了一幅连贯的图景：专家外科医生的运动输出是动态稳定的、复杂的且结构丰富的，而新手的运动则易于不稳定，并且要么过于简单化，要么充满噪声。这些见解超越了传统的性能指标，强调技能学习体现在神经肌肉动力学中——经过训练的外科医生在其运动中实现了平滑性和复杂性的最佳平衡。

虽然集成模型如随机森林和XGBoost整体表现最佳，但我们的支持向量机(SVM)模型产生了中等的分类准确度。我们使用了RBF（径向基函数）核，因为其在模拟神经肌肉数据中常见的非线性关系方面具有优势。使用线性和多项式核的初步测试导致较低的性能，表明RBF核在此上下文中的优越性。然而，我们承认额外的核调优或使用混合或自适应核方法可能会在分类性能上带来进一步的增益，特别是在区分相邻技能组（如新手和中级）时。重要的是，这些非线性特征的贡献通过它们在分类模型中的突出地位得以体现。 across the machine learning classifiers (SVM, Random Forest, XGBoost, and Naive Bayes), features like Lyapunov exponent, entropy measures, and correlation dimension consistently ranked among the most informative predictors for skill level。事实上，包含这些非线性变异性指标显著提高了三个技能组的分类准确度和可分离性。这强调了客观技能评估受益于超越线性或时域特征：通过捕捉运动变异性、可预测性和复杂性的各个方面，我们可以更好地区分中级受训者和真正的专家。

Insights from Explainable AI (SHAP and LIME)

虽然分类模型在区分技能组方面提供了总体准确度，但可解释人工智能(XAI)技术——特别是SHAP（Shapley Additive Explanations）和LIME（Local Interpretable Model-Agnostic Explanations）的整合——使我们能够更深入地了解模型是如何做出决策的。这些事后解释工具揭示了细微的、特定于类别的特征重要性模式，这些模式在传统的性能指标或聚合特征重要性中并不明显。

例如，全局SHAP分析显示，某些特征优先地有助于识别一个类别而非其他类别。加速度计信号的近似熵在我们的模型中成为新手表现的一个强指标：高ApEn值倾向于将模型预测推向新手类，表明运动过度不规则是较低技能的一个标志。相比之下，关联维数和Hurst指数特征对预测专家类的SHAP贡献更大——较高的关联维数值（反映更大的运动复杂性/自由度）和中等偏高的Hurst值（更持久的控制模式）通常是一个试验被分类为专家的必要条件。这些特定于类别的见解在查看模型的整体特征重要性时被掩盖了；因此，XAI方法阐明了，例如，熵相关特征对于捕捉新手水平的表现至关重要，而分形和稳定性特征对于区分真正的专家更具影响力。这样的区分对于解释模型行为是非常宝贵的：它们表明机器学习分类器本质上学习了生理上有意义的规则，例如，“如果外科医生的运动信号高度混沌和不可预测，则标记为新手”，或者“如果运动模式显示出高复杂性和稳定性，则标记为专家”。识别这些学习到的规则使我们对模型的有效性充满信心，并表明算法的标准与熟练与非熟练运动模式的理论预期一致。

此外，我们分析中的SHAP依赖图暗示了重要的特征交互作用。例如，近似熵对预测中级技能水平的影响取决于Hurst指数：中等的ApEn值只有在伴随着特定范围的Hurst指数时才会对中级分类有贡献，这意味着模型捕捉到了一种交互作用，即中级外科医生表现出中等的不规则性和特定的时间相关性结构的混合。这种交互作用可能对应于这样一种观点，即中级者已经克服了新手的极端不稳定性（ApEn低于新手），但尚未发展出专家所具有的完全长程一致性（不同的Hurst特征）。

使用LIME的局部解释通过允许逐案例检查进一步加强了这些解释。例如，对于一位专家外科医生的一个被误分类为中级的试验，LIME的特征加权解释显示，在该试验中，李雅普诺夫指数异常地高，而ApEn低于典型的专家特征。这些偏离了模型学习到的“专家”特征的因素，使分类器倾向于中级标签。换句话说，LIME精确地指出这个特定的专家试验缺乏预期的稳定性和复杂性，说明了模型不确定的原因。这种细粒度的分析非常有用：它们不仅识别了导致错误的特征，还暗示了这些特征值可能出现的原因（例如，一位专家出现了暂时的表现不规则，可能是由于尝试了不同的技术或在该试验中遇到了困难）。

通过利用SHAP和LIME，我们能够将模型的内部逻辑转化为人类可理解的见解。这种方法与生物医学应用中日益重视可解释机器学习的目标相一致——目标不仅是实现高准确度，还要确保决策过程是透明和可信的。在手术技能评估的背景下，如果自动化系统要被教育者和临床医生接受，这种透明度至关重要。我们对XAI方法的使用与最近使用AI在外科培训中提供个性化反馈的努力产生了共鸣。例如，其他研究人员已经使用可解释性技术来突出外科运动序列中哪些部分对技能分数影响最大。类似地，我们的SHAP和LIME分析使我们能够识别每个技能水平特有的具体特征模式。这意味着我们的模型不仅仅是输出一个技能评级——它还指出了为什么一个外科医生被如此评级，无论是由于他们的运动平滑度、一致性还是变异性特征。这样的反馈可以直接传达给受训者：例如，算法可能会报告，“高运动变异性（高李雅普诺夫指数）是此评估的一个重要贡献者——考虑通过练习来提高您运动的稳定性。” 总之，我们研究中的可解释AI组件提供了从黑盒模型输出中不明显的新见解，证实了模型学习了可信的与技能相关的差异，并揭示了定义每个技能类别的特征重要性和相互作用的微妙之处。

Clinical and Training Implications

我们的发现对临床技能评估和外科培训具有若干重要启示。首先，利用可穿戴传感器和高级分析技术客观分类手术专业水平的能力，解决了外科教育中一个已知的空白。传统上，外科技能评估依赖于专家观察或全球评分量表，这可能是主观的且耗费资源。通过证明sEMG和加速度计数据可以稳健地区分新手、中级和专家外科医生，这项研究为自动化、实时技能评估工具奠定了基础。通过我们的可解释机器学习框架识别出的非线性运动特征，展示了在手术技能培训和临床运动评估方面的显著转化潜力。特别是，动态指标，如熵、李雅普诺夫指数和关联维数——分别量化运动的不规则性、稳定性和复杂性——成为运动控制熟练度的敏感指标。这些度量提供了对运动质量的客观窗口：例如，专家的运动往往表现出独特的熵和稳定性特征，反映了更精细的神经运动控制。将此类特征整合到培训课程中，可以实现超越传统指标的定量性能跟踪，帮助教育者和临床医生检测技能的细微改进或退步。

重要的是，使用可解释的ML模型（通过SHAP和LIME）意味着技能分类的贡献特征是透明的。尽管我们的分类准确度（54.7-72.5%）与使用视频或运动学的黑盒深度学习模型相比是适中的，但这项研究提供了独特的贡献。通过利用sEMG和加速度计数据，我们捕获了专业知识的神经肌肉生物标志物，这些标志物补充了基于运动的指标。可解释AI技术（SHAP, LIME）的整合确保了技能分类是可解释的，并与有意义的运动控制概念（如稳定性、适应性和复杂性）相关联。这种透明度将我们的框架与高准确度但不透明的模型区分开来，使得对受训者的可操作反馈成为可能。因此，即使准确度低于80%，我们的研究也证明了一种可解释的、基于可穿戴传感器的外科技能评估框架的可行性和重要性。这种可解释性允许指导者和临床医生理解哪些运动属性（例如，可预测性或适应性）区分了专家级表现，从而促进了有针对性的反馈。此外，这些见解为实时、基于传感器的反馈系统奠定了基础，在该系统中，可穿戴或模拟器传感器可以实时计算非线性特征值。然后，受训者或患者可以接收到即时的、数据驱动的反馈——例如，当他们的运动模式变得过度不规则时发出警报——从而在外科教育和康复环境中闭合评估与干预之间的循环。

Limitations and Future Directions

尽管结果令人鼓舞，但本研究存在一些局限性。样本量较小（n=26），专家组代表性有限，这可能降低了模型跨技能水平的泛化能力。此外，数据是在受控的模拟环境中收集的，并且仅关注sEMG和加速度计信号，可能忽略了手术技能的其他相关维度。对于EMG信号间隙>200 ms使用均值插补可能会减弱生理时间序列中的方差并改变短程时间依赖性。虽然长数据丢失在我们的数据中不常见，但未来的工作将用带限的、保持形状的插值来替代此步骤以处理短或中期间隙，并对长间隙进行窗口级排除，同时辅以特征和模型稳健性的敏感性分析。我们研究的一个局限性是中级组（PGY 1-5）的异质性。这些住院医生在机器人手术经验上差异很大，类内变异性可能模糊了新手、中级和专家之间的区别。虽然我们将PGY 1-5视为一个中级组以保持统计效力，但未来拥有更大队列的研究应按照培训年份或累计机器人手术案例量对住院医生进行分层，以更好地捕捉技能进展。本研究的另一个局限性是我们没有正式评估参与者的肌肉骨骼病史（例如，最近的损伤或手术），这可能会影响运动表现和EMG信号。未来的研究将纳入明确的肌肉骨骼筛查以最小化此类混杂因素。并且未来拥有更大数据集的研究应纳入专用的验证集和嵌套交叉验证，以实现更稳健的超参数优化。尽管SHAP和LIME增强了可解释性，但其计算需求限制了实时应用。

未来的工作应优先扩展数据集，包含更平衡的参与者组，并整合其他模态，如视频