因果推理驱动的无监督语义分割新框架CAUSE：基于概念聚类与自监督学习的前门调整策略

【编辑推荐】本文创新性地将因果推理（Causal Inference）引入无监督语义分割（USS），提出CAUSE框架：通过构建离散化概念聚类簿（clusterbook）作为中介变量（mediator M），阻断混杂因子（confounder U）的干扰，实现前门调整（frontdoor adjustment）；结合模块化理论（Modularity）和自监督学习（SSL），在无标注条件下完成像素级语义聚类，显著提升分割粒度控制能力。

　　

Highlight

【相关研究】无监督语义分割的核心挑战在于无需标注数据学习像素级语义表征。早期IIC框架通过增强视图间互信息最大化实现特征对齐，后续研究引入跨图像对应关系等归纳偏置。近期基于视觉Transformer的自监督学习（SSL）方法（如DINO）展现出像素级语义一致性，促使USS方法采用预训练特征作为先验知识，通过对比学习框架增强无监督分割性能。

数据生成过程（DGP）

【理论基础】定义数据生成过程是因果推理的关键前提。在USS场景中，治疗变量T（预训练特征）与目标变量Y（语义分组）间存在由不确定因素U（如分割目标模糊性、粒度不明确等）引发的混杂效应。典型示例如吸烟（T）与肺癌（Y）关系中，基因型（U）可能成为混杂因子。我们通过构建中介变量M阻断T←U→Y的后门路径。

构建概念聚类簿

【方法创新】我们设计的中介变量M需将预训练特征的连续表示离散化。不同于生成建模中的向量量化方法，像素级聚类需要更精细的处理。采用模块化理论指导的层次化聚类策略，构建覆盖多粒度层级的概念原型库。该聚类簿作为显式监督信号，指导后续概念对比学习。

实验细节

【验证流程】在推理阶段统一执行六步操作：(a)从训练好的分割头输出中学习C个聚类中心（C为数据集类别数），(b)将输出上采样至图像分辨率，(c)寻找最近邻聚类中心索引，(d)通过全连接条件随机场（CRF）进行10步优化，(e)匈牙利匹配对齐预测与真实标签，(f)评估分割精度。所有方法均采用相同评估协议保证公平性。

讨论

【性能突破】传统方法（STEGO/HP/ReCo+）难以处理预训练特征中复杂场景的细粒度分割。CAUSE通过因果干预明确分割目标层级，在密集物体、复杂背景等挑战性场景中展现显著优势。如图5所示，我们的框架能准确识别细小物体边界，并保持语义一致性。

Conclusion

【研究价值】本研究首次将前门调整因果估计引入USS领域，通过两阶段任务（离散概念构建+概念自监督学习）解决无监督条件下的粒度控制难题。实验证明CAUSE在多个基准数据集上达到最先进水平，为计算机视觉与因果推理的交叉研究开辟新路径。