编辑推荐：
为解决情感分析（SA）模型中政治偏见未被充分研究的问题，波兰研究人员开展对波兰 SA 模型的审计研究。结果发现模型存在政治偏见，受标注者影响。推荐阅读，助你了解 SA 模型潜在问题，把握科研新方向。
在当今数字化时代，情感分析（Sentiment Analysis，SA）技术就像一个 “情绪探测器”，在社会科学研究、商业分析等诸多领域大显身手。它能帮助研究者从海量的文本数据中，快速捕捉人们对各种事物的情感倾向，比如预测选举结果、了解公众对社会问题的态度等。然而，这个看似神通广大的 “探测器”，却隐藏着一些不为人知的 “小秘密”。
随着机器学习技术的发展，情感分析模型越来越依赖训练数据来学习和预测。但问题也随之而来，这些训练数据就像模型的 “食物”，如果 “食物” 本身存在偏差，那么模型也会 “学坏”。之前的研究已经发现，情感分析系统中存在着针对不同社会群体的偏见，像性别偏见、种族偏见等。这些偏见就像隐藏在模型中的 “小怪兽”，会影响研究结果的准确性，在社会正义层面也引发了诸多争议。
而在众多偏见中，有一个 “大反派” 一直被大家忽视，那就是政治偏见。几乎每一段文本都可能带有一些政治色彩，政治偏见就像一个无形的 “黑手”，会影响对大量研究数据的解读，甚至在系统层面影响社会认知和政策制定。比如，在分析公众对某个政治事件的情感时，如果模型存在政治偏见，可能会得出完全错误的结论，误导决策者。所以，为了让情感分析模型更加可靠，研究人员迫切需要揭开政治偏见的 “真面目”。
波兰的研究人员深知这个问题的严重性，他们在《Scientific Reports》期刊上发表了一篇名为Political bias in sentiment analysis models: Evidence from a Polish model audit的论文。经过深入研究，他们发现基于专家标注数据训练的监督模型，在对知名政治家相关文本进行情感分析时，确实存在政治偏见。这一发现就像在平静的湖面投下了一颗重磅炸弹，让大家意识到情感分析模型的 “公正性” 面临着巨大挑战。这不仅意味着之前一些基于情感分析的研究结果可能不可靠，也为未来情感分析技术的发展敲响了警钟。
为了开展这项研究，研究人员采用了一系列巧妙的技术方法。他们首先训练了一个波兰语情感分析模型，这个模型的训练数据来自社交媒体上的大量政治文本，包括记者、政治家和非政府组织的帖子，还有普通用户的评论。为了让模型更 “聪明”，他们对数据进行了清洗和筛选，只留下情感内容较高的文本。接着，20 位心理学专业的学生对这些文本进行标注，标注内容包括多种情感和情感维度指标。在模型训练时，研究人员尝试了不同的基础模型，并通过优化训练参数得到了性能较好的模型。最后，为了检测模型是否存在政治偏见，他们以 24 位波兰知名政治家的名字为测试对象，让模型预测这些名字以及包含这些名字的句子的情感 valence（情感效价，反映对刺激的积极或消极反应），还通过修剪训练数据中包含这些政治家名字的文本，训练新模型来对比分析。
下面让我们来看看具体的研究结果：
- 回归模型：研究人员用训练好的模型预测 24 位政治家名字的情感 valence，分数在 42.3 到 56.6 之间，平均分为 49.5。当把这些名字放在中性句子和政治相关句子中预测时，发现中性句子中的平均 valence（54.4）比单独名字的 valence 高，而政治相关句子中的平均 valence（45.7）更低。而且，中性句子中政治家名字 valence 的差异更大，政治相关句子中更小。通过将 valence 分数与政治家的政治派别、性别等因素进行回归分析，发现这些因素能解释大部分 valence 的变化，而且差异并非随机产生的。这就像是发现了一个隐藏的规律，说明模型的预测结果和政治家的政治派别之间存在着某种紧密的联系。
- Confounds（混杂因素）：研究人员进一步研究发现，政治派别与 valence 之间的关联，比 valence 与其他可能的混杂因素（如性别、公众对政治家的信任度、包含政治家名字的文本的平均 valence）之间的关联要强得多。通过比较不同回归模型的 R2 值（一种衡量模型拟合优度的指标），发现包含政治派别和性别的模型对数据的描述最好。这就好比在众多影响因素中，找到了两个 “关键先生”，它们对模型预测结果的影响最大。
- The modified model（修改后的模型）：研究人员修剪了训练数据中包含政治家名字的文本，重新训练了一个模型。结果发现，这个修改后的模型中，政治派别与 valence 之间的关系明显减弱，但偏见仍然存在。这表明，虽然修剪数据能减少一些偏见，但并不能完全消除它。就好像给模型 “洗了个澡”，虽然洗掉了一部分 “污垢”，但还是有一些残留。
从这些研究结果中，我们可以得出结论：基于专家标注训练的情感分析模型确实存在政治偏见，而且这种偏见与训练数据中的标注密切相关。即使修改了训练数据，也无法完全消除偏见。这一结论意义重大，它提醒研究人员在使用情感分析模型时要格外小心。以前很多研究依赖情感分析模型得出结论，现在看来，这些结论可能因为模型的偏见而不准确。比如在分析公众对社会问题的情感时，可能因为模型的政治偏见，导致对公众态度的误判。
同时，研究还发现，一些基于词典（lexicon-based）的情感分析系统虽然准确性不如基于机器学习的预测模型，但它们不太容易传播标注者的偏见，而且即使有偏见也更容易被发现和纠正。这就为研究人员提供了一个新的思路，如果担心模型存在偏见，可以考虑使用基于词典的系统进行辅助分析。
不过，这项研究也存在一些局限性。它只针对一个波兰语情感分析模型和特定的政治文本数据集进行研究，样本数量相对较小，所以研究结果的普遍性还需要进一步验证。未来的研究可以扩大数据集和研究对象的范围，深入探索偏见传播的具体机制，开发更强大、更抗偏见的情感预测模型。
总的来说，这项研究就像一盏明灯，照亮了情感分析模型中政治偏见这个被忽视的角落。它让我们明白，在享受机器学习技术带来便利的同时，也要时刻警惕其中隐藏的问题，不断改进和完善技术，让情感分析模型真正成为可靠的研究工具。
