单特征增强与时序循环网络在视频显著性预测中的突破性应用

本文推荐一篇创新性研究，作者提出SETR-Net（单特征增强与时序循环网络），通过简化多尺度融合结构（SCE模块）和引入时序注意力传递机制（SAT），显著提升视频显著性预测（VSP）的精度（NSS指标提升3.7%）。该研究突破传统冗余设计，为计算机视觉（CV）任务如自动驾驶、视频分割等提供高效解决方案。

　　

Highlight
本研究通过SETR-Net解决了视频显著性预测（VSP）中的两大核心问题：1）多尺度特征融合（Multi-scale Fusion）的结构冗余；2）时序建模能力不足。实验证明，单特征基线（Single Feature Baseline）经SCE模块增强后，性能超越复杂多尺度模型，而SAT机制显著提升长程特征捕获能力。

The proposed method
SETR-Net框架包含三部分：

1. 简化单特征结构：采用Video Swin Transformer（VST）主干，摒弃冗余多尺度设计；
2. 显著性上下文增强（SCE）模块：通过空洞卷积（Dilated Convolution）扩大感受野，使单特征F₃表达力超越多尺度融合；
3. 时序注意力传递（SAT）机制：将历史显著性信息以注意力形式注入当前帧预测，解决滑动窗口推理时的计算冗余问题。

Experiments
在DHF1K、Hollywood-2等数据集上，SETR-Net的NSS（Normalized Scanpath Saliency）指标最高提升3.7%，且推理速度优于3D-CNN和LSTM基线模型。消融实验验证了SCE和SAT模块的协同增效作用。

Conclusion
SETR-Net为VSP领域提供了全新范式：

• 单特征+增强模块可替代复杂多尺度设计；
• 时序循环（Temporal Recurrence）能有效平滑输出显著性序列。未来可扩展至医疗影像分析等生命科学场景。

CRediT authorship contribution statement
张云祚：课题设计与资金支持；肖耀戈：可视化与论文修订；张月魁：实验分析与初稿撰写；张天：数据校验与交叉验证。

Declaration of competing interest
作者声明无利益冲突。

Acknowledgments
感谢国家自然科学基金（No. 62027801）等项目的资助。