基于不确定性估计与自蒸馏的半监督小样本分类方法研究

针对半监督小样本分类中伪标签可靠性低和类原型表征不准确的问题，研究人员提出不确定性估计与自蒸馏（UESD）方法，通过邻域样本概率熵评估伪标签置信度，并利用掩蔽自蒸馏增强类原型学习。实验在mini-ImageNet等基准上验证了其优越性，为小样本学习提供了新思路。

　　

在人工智能领域，图像分类任务通常依赖大量标注数据，但现实场景中标注成本高昂且某些类别样本稀缺。例如医疗诊断中，原始图像易获取而像素级标注难获得。这一矛盾催生了半监督小样本分类（Semi-supervised Few-shot Classification）研究，旨在利用少量标注样本和大量未标注样本识别新类别。然而，现有方法面临两大挑战：一是支持集（Support Set）中标注样本过少导致特征学习不充分；二是难以从有限样本中学习高质量的类原型（Class Prototype）表征。

针对这些问题，浙江大学的研究团队在《Knowledge-Based Systems》发表论文，提出不确定性估计与自蒸馏（UESD）方法。该方法通过邻域样本概率熵一致性评估伪标签置信度，减少低置信样本干扰；同时设计掩蔽自蒸馏策略，通过遮挡支持集标注图像增强模型鲁棒性。实验表明，UESD在mini-ImageNet、tiered-ImageNet和CUB200-2011数据集上显著提升分类性能，为解决小样本学习瓶颈提供了创新方案。

关键技术包括：1）不确定性估计模块（UE），基于邻域样本分类概率向量相似性计算伪标签置信度；2）掩蔽自蒸馏模块（MSD），通过随机掩蔽支持集图像并约束掩蔽前后特征一致性，强化类原型学习。

研究结果

1. 不确定性估计提升伪标签质量：通过分析样本与其邻域的概率分布一致性，筛选高置信伪标签，避免传统方法仅依赖单样本预测或嵌入相似性的局限。
2. 掩蔽自蒸馏增强原型表征：对支持集图像施加随机掩蔽，迫使模型从部分视觉信息中学习不变特征，从而提升类原型的判别性。
3. 跨数据集验证：在5-way 1-shot和5-way 5-shot任务中，UESD在三个基准数据集上均超越对比方法，最高准确率提升达8.2%。

结论与意义
该研究创新性地将概率分布一致性与自蒸馏机制引入小样本学习，解决了伪标签噪声和原型偏移问题。其技术框架可扩展至医疗影像等低资源场景，为半监督学习提供了新范式。未来可探索多模态数据融合与动态邻域优化以进一步提升性能。