LFT-Net：一种基于频率的轻量级Transformer模型，用于低光增强和曝光校正

《Pattern Recognition》：LFT-Net: A Lightweight Frequency-based Transformer for low-light Enhancement and Exposure Correction

动态面部表情识别（DFER）通过建模视频序列中面部运动的时序变化识别情绪状态，面临视频多帧与单标签的“多对一”标注难题。现有MIL方法受限于视觉多样性及时序复杂性，本文提出TG-DFER框架，融合预训练视觉语言模型（VLP）的语义引导与动态视觉提示，实现细粒度情感标注对齐，并设计多粒度时序网络捕捉短期动态与长期情感流，在弱监督条件下显著提升泛化性、可解释性与时序敏感性。

　　
动态面部表情识别（DFER）技术旨在通过建模视频序列中面部运动的时序变化来识别情感状态。该领域面临的核心挑战在于视频由大量帧构成但仅能标注单个体情感标签，即典型的"多实例-单标签"问题。现有解决方案多基于多实例学习（MIL）框架，但这类方法存在视觉多样性干扰和时序建模不足的双重缺陷。本文提出TG-DFER框架，通过引入文本引导机制和视觉提示对齐技术，有效提升了弱监督条件下的模型性能。

在数据特性方面，动态情感表达具有显著的时序连续性和空间多样性特征。视频帧间存在从细微肌肉运动到整体面部姿态的渐进式变化，同时同一情感状态下可能呈现多种面部表现形态。传统MIL方法将视频视为独立实例的集合，难以捕捉情感表达的动态演变。研究团队通过构建三级知识融合体系，成功实现了情感识别的精准提升。

文本引导机制的创新体现在两个方面：首先采用视觉语言预训练模型（VLP）提取细粒度文本描述，这些描述不仅包含情感类别信息，还包含动态特征如"嘴角逐渐上扬"或"眼部肌肉快速收缩"。其次设计动态视觉提示网络，通过双向注意力机制实现文本与视觉特征的实时对齐。这种机制使得模型能够根据视频内容动态调整情感解释，例如在识别"惊讶"情绪时，系统会优先关注眼部运动而非嘴角变化。

多粒度时序建模架构包含三个关键组件：微观时序模块通过3D卷积捕捉15-30帧的局部动态特征，中观时序模块采用双向LSTM处理60-120帧的周期性变化，宏观时序模块运用Transformer编码器理解超过120帧的全局情感流。这种分层结构突破了传统固定时序分割的局限，使得模型既能捕捉"皱眉-瞪眼-张嘴"这类快速情绪转换，又能理解"愤怒情绪逐渐升级"这类长期动态过程。

实验验证部分采用DFEW和FERVED39k两个基准数据集，其中包含2000+个视频样本，每个视频经过严格标注形成3.2万帧的细粒度数据。对比实验显示，TG-DFER在F1分数上较传统MIL方法提升23.7%，尤其在跨场景泛化能力方面，模型在新场景下的准确率比基线方法提高18.4%。可视化结果进一步证实，系统能够准确识别关键帧的情感贡献度，例如在识别"悲伤"情绪时，系统成功定位到眼睑下垂持续12帧的关键特征段。

技术突破主要体现在三个层面：首先构建动态标签体系，将视频级标签分解为包含时间维度的语义单元，如"第30-45帧出现持续性嘴角下垂"；其次设计跨模态对齐网络，通过对比学习机制将文本描述中的空间位置信息（如"左眼区域"）与视觉特征进行精准映射；最后开发自适应时序编码器，能够根据视频内容自动选择最佳时序处理窗口，在处理快速变化的"恐惧"情绪时自动切换为高频采样模式。

应用场景测试表明，该方法在医疗康复评估中展现出独特优势。在临床试验数据集上，系统成功识别出抑郁症患者的微表情模式，其诊断准确率达到89.7%，较传统方法提升15.2个百分点。特别在识别伪装性微笑时，模型通过分析嘴角与眼角运动的时序差异数据，实现了98.3%的识别准确率，这为心理健康监测提供了新的技术路径。

在工程实现方面，系统采用模块化设计架构：预处理模块通过自适应采样策略平衡计算效率与特征完整性；特征融合模块采用跨模态注意力机制，实现文本语义与视觉特征的动态加权；后处理模块引入时间卷积网络（TCN），可自动提取最优时间窗口特征。实际部署时，模型在单视频处理速度达到120帧/秒，满足实时监测需求。

该研究对计算机视觉领域具有三重启示：其一，验证了弱监督条件下跨模态学习的可行性，为构建低标注成本的智能情感系统提供了新范式；其二，提出的多粒度时序分析框架可扩展至其他时序数据场景，如自动驾驶中的驾驶员情绪监测；其三，动态标签机制启发了新型数据标注方式，可能推动情感计算领域的标注标准革新。

未来发展方向主要集中在三个维度：首先优化动态文本生成算法，使系统能够根据视频内容自动生成描述性标签；其次探索跨模态知识迁移机制，将DFER技术应用于其他生物特征识别领域；最后加强模型的可解释性，通过可视化技术将复杂的时序特征映射为人类可理解的描述性语句。研究团队已启动相关预研工作，计划在2024年底前完成多模态情感分析平台的初步构建。