基于特征距离加权自适应解耦知识蒸馏的医学图像分割研究：助力模型轻量化部署

为解决医学图像分割中，如何将高性能教师网络知识转移到轻量级学生网络以方便在嵌入式设备部署的问题，研究人员开展了特征距离加权自适应解耦知识蒸馏（FDWA-DKD）用于医学图像分割的研究。实验表明该方法性能良好，超越部分教师网络，意义重大。

　　目的：将解耦知识蒸馏（DKD）应用于医学图像分割，重点是把高性能教师网络的知识转移到轻量级学生网络，从而便于模型在嵌入式设备上部署。
方法：首先将蒸馏损失解耦为逐像素目标类知识蒸馏（PTCKD）和逐像素非目标类知识蒸馏（PNCKD）。接着，为解决 PTCKD 中固定权重范式的局限，提出一种新的特征距离加权自适应解耦知识蒸馏（FDWA-DKD）方法。FDWA-DKD 量化学生和教师之间的特征差异，为 PTCKD 生成实例级自适应权重。设计一个特征距离加权（FDW）模块，动态计算特征距离以获得自适应权重，将特征空间距离信息整合到 logit 蒸馏中。最后，引入类特征概率分布损失，促使学生模仿教师的空间分布。
结果：在 Synapse 和 FLARE22 数据集上进行的大量实验表明，所提出的 FDWA-DKD 取得了令人满意的性能，获得了最佳的 Dice 分数，在某些情况下甚至超过了教师网络的性能。消融实验进一步验证了所提方法中每个模块的有效性。
结论：该方法克服了传统蒸馏方法的限制，为 PTCKD 提供了实例级自适应学习权重。通过量化学生 - 教师特征差异并最小化类特征概率分布损失，该方法优于其他蒸馏方法。