基于双注意力多层特征融合的视觉情感分析：为视觉传播设计注入新活力

《BMC Psychology》：Visual contextual perception and user emotional feedback in visual communication design

为解决视觉传播设计中情感分析方法存在的问题，研究人员开展了 “Visual contextual perception and user emotional feedback in visual communication design” 主题的研究。研究提出 DAMLCNN 方法，在多个数据集上取得较高分类准确率，为视觉传播设计创新发展提供助力。

　　在当今信息时代，图像在人们的生活中无处不在，无论是社交媒体上的照片，还是广告、影视中的画面，都蕴含着丰富的情感信息。视觉传播设计的重要性与日俱增，它不仅是传递信息的载体，更是引发情感共鸣的桥梁。然而，目前视觉传播设计中的情感分析却面临着诸多挑战。传统的情感分析方法大多依赖于手工设计的特征，在面对复杂多变的图像时，这些方法往往难以准确提取特征，导致识别性能不佳。而基于深度学习的方法虽然在一定程度上取得了进展，但仍存在不足，比如常常忽略图像中关键的局部区域，无法充分挖掘多层次特征，使得特征的表达能力有限。

为了攻克这些难题，曲靖师范学院的研究人员开展了一项极具意义的研究。他们提出了一种基于双注意力多层特征融合的方法 ——DAMLCNN（Dual-Attention Multilayer Feature Fusion Convolutional Neural Network），旨在提升视觉情感分析的性能，为视觉传播设计提供更有力的支持。这项研究成果发表在《BMC Psychology》上，引起了广泛关注。

研究人员在此次研究中主要运用了以下关键技术方法：首先，采用 VGGNet-16 作为多层特征提取的基础网络，并对其进行改进，通过调整网络结构和参数设置，使其能够更好地提取图像的多层次特征；其次，引入空间注意力机制（Spatial Attention Mechanism）和通道注意力机制（Channel Attention Mechanism），分别对低层次特征和高层次特征进行加权，突出关键区域和重要通道，增强特征的表达能力；最后，将经过注意力机制强化的高低层次特征进行融合，通过全连接层和 softmax 分类层进行情感分类。研究使用了 Twitter 2017 和 Emotion ROI 等公开数据集，将其划分为训练集和测试集用于模型训练和评估。

研究结果主要从以下几个方面展开：

1. 性能比较：在 Twitter 2017 数据集上，该方法在正负情感识别上的分类准确率分别达到 87.8% 和 73.5%，平均比基于中间语义表示的视觉情感分析方法 SentiBank 以及表现最佳的深度学习方法 VGGNet-16 提高了 7.4%；在 F1 分数指标上，正负情感分类的 F1 分数分别为 84.1% 和 77.8%，同样优于 VGGNet-16。在 Emotion ROI 数据集上，该方法的分类准确率达到 57.4%，超过了 SentiBank，与 VGGNet-16 和 ResNet-101 等深度学习模型相比，准确率和召回率也有显著提升。这表明该方法在二元分类和多分类任务中都具有良好的性能，能够有效识别不同情感。
2. 模型有效性验证：在 Twitter 2017 数据集上，DAMLCNN 模型的分类准确率达到 79.8%，超过了传统视觉情感分析方法 GCH 和基于中间语义表示的方法 SentiBank，也优于深度学习模型 VGGNet-16 和 COIS。在 Emotion ROI 数据集上，该模型的分类准确率为 55.8%，比 VGGNet-16 高出 8.1%。此外，通过混淆矩阵分析发现，对于悲伤、惊讶和喜悦这三种情感类别的分类，DAMLCNN 模型的准确率分别高达 89%、94% 和 91%。这充分验证了 DAMLCNN 模型在情感分析领域的有效性，能够更准确地捕捉用户的情感波动和反馈。
3. 特征提取优势：研究人员通过在改进的 VGGNet-16 神经网络模型中进行不同层次的特征提取，发现浅层特征主要聚焦于图像的局部细节，如边缘、角落和纹理等低层次信息；而深层特征则能捕获图像更抽象和语义化的信息，如物体形状、轮廓和类别等高层次信息。通过互补浅层和深层特征，可以构建更强大、准确的视觉传播系统。这进一步说明了 DAMLCNN 模型在特征提取方面的优势，能够充分利用图像的多层次信息进行情感分析。

研究结论和讨论部分指出，DAMLCNN 方法创新性地融合了多层 CNN 特征提取、双注意力机制和基于注意力的特征融合策略，具有卓越的特征表示能力。它能够深入挖掘和融合图像的全局和局部特征，更丰富、细致地描绘视觉内容。双注意力机制就像智能放大镜，自动聚焦于与情感表达密切相关的关键区域和特征，显著提高了情感信息识别的准确性和效率。通过自适应学习和优化过程，该方法不仅能精确捕捉微妙的情感差异，还大幅提升了情感分类的准确性和鲁棒性。

此外，DAMLCNN 方法对视觉内容的深入分析有助于设计师更好地理解用户的感受、需求和行为，从而明确设计目标，提升整体用户体验。基于双注意力多层特征融合的视觉情感分析方法为设计师提供了更详细、全面的视觉信息，激发创新设计思路。设计师可以根据用户的情感和需求进行个性化设计，增强品牌忠诚度。而且，该方法性能的提升拓展了其应用范围，除传统的广告和媒体领域外，还可应用于电影、游戏、虚拟现实等多个领域，为设计师提供了更多的创作空间和机会，使设计出的产品或服务更具交互性和吸引力，增强用户粘性和忠诚度。这项研究为视觉传播设计领域带来了新的突破和发展方向，具有重要的理论和实践意义。