利用稀疏MoE进行全谱提示调优，以实现开放集识别

《Neural Networks》：Full-Spectrum Prompt Tuning with Sparse MoE for Open-Set Recognition

开放集识别中视觉语言模型的研究，提出全谱提示调优与稀疏混合专家机制，整合深层高维语义与浅层局部结构特征，通过对比损失优化路由一致性。

　　
开放集识别中视觉语言模型的特征融合优化研究

在计算机视觉领域，开放集识别（OSR）作为图像分类的重要分支，致力于在训练阶段已知类别的基础上，准确区分测试阶段可能出现的未知类别。近年来基于CLIP（Contrastive Language-Image Pre-training）的视觉语言模型展现出显著优势，但其主要应用于高阶视觉特征的提取与文本提示的优化。该研究团队通过系统性分析现有方法的局限性，提出了一种创新性的全谱特征融合框架——Full-Spectrum Prompt Tuning with Sparse Mixture-of-Experts（FSMoE），有效解决了低层视觉特征利用不足的问题。

传统CLIP模型在开放集任务中的处理策略存在明显缺陷。首先，现有方法多聚焦于利用图像编码器末层（通常为7层）的高层语义特征，这类特征主要反映物体的整体形状和类别概念，但对局部结构特征的捕捉能力有限。其次，低层视觉特征（包括浅层卷积层提取的边缘、纹理等局部信息）虽然具有区分已知类别与未知类别的重要潜力，但由于其与高层特征在表征空间上的差异，直接融合到文本提示中会导致模型混淆。实验数据显示，简单堆砌所有层级的视觉特征会使模型性能下降约1.5%-1.9%，证实了特征融合需要结构化处理。

为突破现有技术瓶颈，FSMoE框架从两个维度进行创新性改进：在特征层面构建全谱视觉特征体系，在模型层面设计分层文本交互机制。具体而言，研究团队首先对CLIP图像编码器进行特征解耦分析，发现浅层特征（1-5层）在细粒度分类中具有独特优势，例如能够有效区分相似类别的细微差异（如猫的品种识别）。而高层特征（6-7层）则更擅长捕捉物体的整体语义特征。

基于此，FSMoE框架采用双通道文本提示设计。高层文本提示组（HPT）与图像编码器的末层（7层）进行交互，主要负责建立类别级别的语义关联；低层文本提示组（LPT）则与1-5层浅层特征对接，通过局部特征增强实现细粒度判别。这种分层设计突破了传统单通道提示的局限，使模型既能保持对整体语义的把握，又能精准识别局部特征差异。

针对低层特征可能存在的冗余问题，研究团队引入混合专家机制（MoE）。该机制将浅层特征划分为多个专家模块，每个专家专注于特定区域或部件的特征提取。例如，在图像编码器的浅层卷积中，每个专家可能负责处理不同方向的边缘特征或特定纹理模式。通过稀疏路由策略，系统动态选择与当前文本提示最相关的专家组合，既避免特征冲突，又增强模型的适应性。实验表明，这种机制在保持高准确率的同时，将计算资源消耗降低了约30%。

在损失函数设计方面，研究团队提出路由一致性对比损失（RCC-CL）。该损失通过双重约束机制优化专家协作：一方面，要求同一类别图像的专家路由选择具有一致性；另一方面，不同类别之间的路由差异需要最大化。这种设计不仅提升了模型对已知类别的稳定性，还增强了其对未知类别边界的学习能力。具体实现中，路由选择过程被建模为注意力机制，通过对比学习逐步优化专家间的协作权重。

实验验证部分采用四个标准数据集：CIFAR10、CIFAR+10/+50、TinyImageNet和自定义的医学影像数据集。在CIFAR10基准测试中，FSMoE在保持原有CLIP模型高阶特征优势的基础上，通过低层特征增强使OSR准确率提升12.7%。特别在TinyImageNet（类别数仅200）上，其AUROC（Area Under the Receiver Operating Characteristic curve）达到98.3%，较传统方法提升1.6%，验证了模型在小规模数据集上的泛化能力。在医学影像测试中，模型对细微结构病变的识别率提高23.4%，显示出跨领域应用的潜力。

该研究在方法论层面提出三个关键创新：首先，建立视觉特征的多层级交互体系，将图像编码器的全层特征按功能划分到不同处理通道；其次，设计基于区域注意力机制的动态路由算法，实现专家模块的按需调用；最后，开发具有双约束条件的对比损失函数，平衡类别内一致性和类别间可分性。这些技术突破共同构成了FSMoE的核心竞争力。

研究团队特别关注模型的可解释性，通过可视化分析发现：在开放集任务中，低层特征（如第3层卷积特征）对未知类别 rejection（拒绝）的贡献率高达67%，而高层特征主要参与已知类别的区分。这解释了为何传统方法在未知类别处理上存在性能瓶颈。FSMoE通过定向增强低层特征的文本关联，有效提升了模型对新类别的拒识能力。

在工程实现层面，研究团队开发了高效的轻量化架构。通过将混合专家机制中的专家模块数量控制在图像编码器层级的1.2倍，既保证了特征多样性又避免了计算爆炸。路由决策过程采用门控注意力机制，仅需添加约15%的额外计算量，在保持原有CLIP模型95%精度的同时，将推理速度提升至原来的1.8倍。这种高效性使其在实时应用场景（如自动驾驶环境感知）中具有实用价值。

值得注意的是，FSMoE框架的提出填补了当前技术空白。根据文献调研，已有方法如CoCoOp和A2Pt Ren等虽然优化了高层特征的利用，但均未系统性地整合浅层特征。而FSMoE通过结构化的分层提示和动态路由机制，首次实现了全谱视觉特征的协同优化。这种设计思路对其他跨模态任务（如视频-文本匹配、3D点云-文本关联）具有借鉴意义。

未来研究方向主要集中在三个层面：一是如何进一步提升低层特征的语义可读性，当前模型仍存在约8%的误分类案例集中在边缘模糊区域；二是探索多模态融合策略，将视频时序信息或3D几何特征融入现有框架；三是优化动态路由算法的效率，当前路由决策需要2.3倍的特征计算量。这些改进方向已纳入研究团队的后续工作计划。

该研究成果为开放集识别领域提供了新的技术范式。其核心价值在于揭示了视觉语言模型中不同层级特征的功能互补性，并通过工程化手段解决了特征融合的实践难题。实验数据表明，在保持原有CLIP模型98.2%的已知类别准确率前提下，FSMoE使开放集准确率提升了14.5%，在细粒度分类任务中效果尤为突出。这种技术突破不仅推动了学术研究的前沿发展，更为工业界应用提供了可落地的解决方案，特别是在医疗影像分析、工业质检等需要高精度拒识的场景中具有广阔应用前景。