基于集成空间约束的视觉选择状态空间模型的皮肤病分割新方法

　　

基于视觉选择性状态空间模型的皮肤病分割新方法解读

西南民族大学电子与信息学院的研究人员 Yu Bai、Hai Zhou、Hongjie Zhu 等，在Scientific Reports期刊上发表了题为 “A novel approach to skin disease segmentation using a visual selective state spatial model with integrated spatial constraints” 的论文。该研究提出的 SSR-UNet 模型在皮肤病图像分割领域具有重要意义，为临床诊断和治疗提供了更准确、高效的技术支持，有望改善患者的诊疗结果，推动医学图像处理技术的发展。

一、研究背景

精准的皮肤病变分割对于皮肤病的及时诊断和治疗规划至关重要。以黑色素瘤为例，其早期诊断对改善患者预后至关重要，早期通过手术治疗生存率较高，但一旦发生转移，生存率会大幅下降。然而，从皮肤镜图像诊断黑色素瘤时，经验不足的专家准确率仅为 0.75 - 0.84，且专家之间的主观解释差异较大。皮肤病诊断过程依赖于对皮肤病变外观、颜色、形状、边界和纹理等的观察，皮肤病图像分割模型能自动分割病变区域，提供精确边界信息辅助诊断，但该领域面临图像复杂、病变特征多样和分辨率有限等挑战。

在医学图像分割领域，卷积神经网络（CNNs）发展历程悠久。早期的 LeNet 和 AlexNet 主要用于图像分类，全卷积网络（FCNs）出现后，CNNs 开始应用于图像分割任务。U-Net 模型采用对称的编码器 - 解码器结构，通过跳跃连接提升了分割精度和效率，后续出现了 U-Net++、Attention u-net 等变体。尽管如此，由于卷积操作的局部性和缺乏全局感受野，CNNs 在复杂医学图像分割任务中难以有效捕捉长距离依赖关系。

Transformer 模型凭借其自注意力机制在自然语言处理领域取得成功后，迅速在计算机视觉领域得到广泛应用。如 Transunet 将 Transformer 与 U-Net 结构结合，增强了模型捕捉全局和局部特征的能力，但 Transformer 的自注意力机制计算复杂度会随输入大小呈二次增长，在高分辨率医学图像处理中面临挑战。

状态空间模型（SSM）能将递归神经网络的快速推理能力与卷积神经网络的局部特征提取优势相结合，具有线性或近线性的缩放特性。Mamba 模型提出的结构化状态空间序列建模（S4）和选择性扫描状态空间序列模型（S6），可选择性学习输入信息，但 S6 架构对周期性变化敏感，训练时易出现梯度过大或过小的问题。

二、研究材料与方法

（一）模型架构

研究人员提出了基于选择性状态空间架构的 U 形模型 SSR-UNet。该模型利用补丁嵌入层、RSS 块、编码器、解码器、最终投影和跳跃连接构建而成。与传统 U 形结构不同，在 U 形底部添加了两个 RSS 块以增强图像特征提取。

图像经补丁嵌入层处理后，先进行形态学黑帽操作去除毛发遮挡，再划分为非重叠块并投影到高维嵌入空间，接着进行层归一化。编码器包含三个阶段，每个阶段通过 RSS 块和补丁合并操作提取特征，第三阶段减少 RSS 块数量以降低模型参数和计算复杂度。瓶颈部分添加两个 RSS 块，增强提取细微图像特征的能力。解码器同样包含三个阶段，通过补丁扩展和 RSS 块操作逐步恢复特征图分辨率，最终由补丁投影层恢复通道数，跳跃连接则有助于保留图像细节。

（二）RSS 块

RSS 块基于 S6 模型和 2D 选择性扫描（SS2D）模块设计。S6 模型基于传统状态空间模型（SSM），通过离散化得到序列化表示结构，类似递归神经网络（RNN），但计算输出时使用线性变换而非激活函数，避免了二次计算复杂度。由于视觉信号与文本序列顺序不同，引入 SS2D 模块，该模块通过扫描扩展、S6 模块和扫描合并三步提取特征。

RSS 块先进行层归一化，再将输出传入 SS2D 模块，经过随机失活层后，通过残差连接与原始输入相结合。SS2D 模块在扫描扩展时从四个方向进行扫描，能捕捉图像的全局和局部动态信息，RSS 块采用简单残差网络保留图像特征信息，通过随机失活层防止过拟合。

（三）损失函数

为解决选择性扫描状态空间模型训练时梯度过大或过小的问题，研究人员引入了空间约束损失函数。该函数扩展了边界损失函数，主要测量预测和实际分割边界之间的距离。综合损失函数由二元交叉熵损失、Dice 损失和空间约束损失组成，公式为，其中是空间约束损失函数的权重系数。

研究人员选择 AdamW 作为优化器更新模型参数，通过对各损失函数求偏导计算梯度，进而更新模型参数。空间约束损失函数通过更新坐标梯度，缩小标签和预测图像之间的空间差距，提高模型的鲁棒性。

（四）实验设置

研究使用国际皮肤成像协作挑战赛的 ISIC2017 和 ISIC2018 数据集进行训练和测试。ISIC2017 数据集包含 2150 张标记的皮肤病变图像，按 7:3 比例分为训练集 1500 张和验证集 650 张；ISIC2018 数据集包含 2694 张标记图像，按 7:3 比例分为训练集 1886 张和测试集 808 张。

实验在 NVIDIA RTX A5000 处理器上进行，使用 PyTorch 框架和 Linux 操作系统。输入图像大小固定为 256×256，选择 AdamW 优化器，学习率为 0.001，训练 300 个 epoch，批次大小为 32，训练过程中固定随机种子。

评估 SSR-UNet 模型使用准确率（ACC）、Dice 系数（DICE）、平均交并比（mIoU）、灵敏度（SEN）和特异性（SPEC）五个指标，并与其他模型对比参数数量和计算复杂度来评估模型效率。

三、研究结果

（一）消融实验

1. 基本模块、毛发去除模块和损失函数的消融实验：在 ISIC2017 和 ISIC2018 数据集上进行实验，以 BCE Dice 损失函数训练和测试模型作为基线。先将毛发遮挡去除模块加入模型的补丁嵌入中进行训练和评估，再将提出的空间约束损失函数集成到整体损失函数中进一步训练和测试。

实验结果表明，加入毛发去除模块后损失降低，证明其有效性；加入空间约束损失函数后，损失显著下降。虽然灵敏度指标受数据噪声和优化权衡影响表现不突出，但其他评估指标有明显改善，说明空间约束损失函数在缓解梯度过大或过小问题上表现良好。
2. 不同权重值对模型影响的消融实验：利用 ISIC2017 和 ISIC2018 数据集选择空间约束损失函数的权重。在实验中，只修改空间约束损失函数的权重，以 0.01 为基线，分别增加到 0.02、0.03，再减小到 0.008、0.006 进行对比。

结果显示，权重为 0.03 时模型预测的平均损失最低，但在 mIoU、dice、acc 等评估指标上未达到最高；权重为 0.006 时，平均损失和评估指标均下降。综合来看，权重为 0.01 时，模型在两个数据集的预测中，平均损失和五个评估指标表现最佳，表明该权重下模型整体性能和泛化能力最优。

（二）对比实验

将 SSR-UNet 与 UNet、Transunet、UNeXt 等多个先进模型在 ISIC2017 和 ISIC2018 数据集上进行对比。

在 ISIC2017 数据集上，SSR-UNet 的 mIoU、ACC 和 SPEC 分别提高了 0.83%、0.99% 和 0.38% ，虽 DICE 和 SEN 略低于其他模型最佳结果，但整体表现优异，边界预测更准确。在 ISIC2018 数据集上，SSR-UNet 的 mIoU、DICE、ACC 和 SEN 分别提高了 1.71%、0.27%、0.65% 和 0.04% ，SPEC 仅比最佳结果低 0.08%。相比之下，其他模型存在边缘预测错误和伪影等问题，SSR-UNet 在病变边界描绘上最为准确。

此外，MALUNet 和 UNeXt 虽计算效率高、参数少，但评估指标不如 SSR-UNet；SSR-UNet 在计算复杂度、参数数量和评估指标上优于 U-Net 基线。

四、研究结论与讨论

（一）研究结论

研究人员提出的 SSR-UNet 模型在皮肤病图像分割任务中表现出色。该模型采用双向扫描模式和编解码结构，结合空间约束损失函数，增强了模型的泛化能力。在 ISIC2017 和 ISIC2018 数据集上，SSR-UNet 在多个评估指标上优于传统卷积神经网络和 Transformer 模型，不仅提高了分割精度和鲁棒性，还解决了全局感受野和计算复杂度的问题，同时缓解了训练过程中梯度爆炸或消失的问题。

研究还表明，数据集标签的不准确会影响模型在依赖边界准确性的评估指标上的表现，但也能促使模型在训练中优化对病变区域的判断，增强泛化能力。

（二）讨论

从计算复杂度和参数数量等模型效率指标来看，Attention u-net 和 UNeXt 虽计算效率高，但评估指标表现较差；Transunet 和 ResUNet 评估指标较好，但计算复杂度高、参数多，不适合资源受限环境；SSR-UNet 在计算需求和参数数量上较为适中，适合在资源受限设备上训练和推理，且在评估指标上表现优异。

尽管研究取得了显著成果，但仍存在一些局限性。例如，空间约束损失函数的权重固定，缺乏动态调整能力；模型目前局限于皮肤病的二分类任务，扩展到多分类任务面临挑战。未来研究可集中在动态调整损失函数权重，探索模型在多分类分割任务中的适用性，如腹部器官图像分割；还可考虑使用磁共振图像对肾脏和肝脏进行分割，开发更有效的混合网络模型。

（三）研究意义

本研究提出的 SSR-UNet 模型显著提高了图像分割的准确性和鲁棒性，对皮肤病的检测和诊断具有重要意义。准确的皮肤病变分割有助于医生更精准地判断病情，制定更有效的治疗方案，提高皮肤病的诊疗水平。同时，该研究为医学图像分割领域提供了新的方法和思路，推动了医学图像处理技术的发展，有望在更广泛的医学图像分割任务中发挥重要作用。