一种用于缓解偏见的可微分且不确定性感知的互信息正则化方法

《Neurocomputing》：A differentiable and uncertainty-aware mutual information regularizer for bias mitigation

本文针对机器学习中算法公平性难题，提出了一种基于互信息（MI）的可微分正则化框架。研究团队通过引入Bernoulli松弛、核平滑及蒙特卡洛Dropout技术，构建了兼容梯度优化的公平性损失函数，有效平衡分类精度与偏见抑制。实验表明，该方法在合成与真实数据集上均能显著降低模型偏差（如MI降低超20%），且计算效率优于遗传算法等基线。该工作为高维复杂场景下的负责任决策提供了理论严谨、实践可行的新路径。

　　

随着人工智能技术在招聘、信贷、司法等高风险领域的广泛应用，算法公平性已成为伦理与技术交叉的核心议题。尽管现有研究强调从数据中剔除敏感属性（如性别、种族）可避免直接歧视，但非敏感特征与受保护变量间复杂的统计依赖关系仍可能导致模型间接学习偏见。传统互信息（MI）虽能量化此类依赖，但其不可微特性阻碍了直接嵌入梯度优化框架。此外，高维数据中的稀疏性和模型预测的不确定性进一步增加了公平性衡量的挑战。

为此，研究团队在《Neurocomputing》发表论文，提出了一种融合可微分性与不确定性感知的互信息正则化方法。该工作通过三大技术支柱实现突破：首先，利用Bernoulli松弛将硬标签预测转化为概率输出，使MI估计可微；其次，采用核平滑技术对经验分布进行插值，缓解高维稀疏问题；最后，引入蒙特卡洛Dropout模拟模型认知不确定性，提升正则化项的鲁棒性。研究基于合成数据集（可控依赖结构）和真实荷兰人口普查数据（2001年）验证有效性，并对比了预处理（质量调整、重加权）、后处理（拒绝选项分类）及对抗去偏等基线方法。

4.1 可微分松弛

通过将分类器的硬决策输出替换为伯努利分布下的概率输出，研究者构建了连续可微的联合概率分布估计。该设计使得互信息可通过链式法则对模型参数θ求导，兼容标准反向传播算法。理论分析表明，松弛后的MI是原始MI的下界，且其紧密度受预测熵约束——当模型对样本分类置信度高时，近似误差可忽略。

4.2 基于核平滑的经验分布

为应对高维特征空间中经验分布估计不稳定的问题，团队采用基于汉明距离的核函数对离散特征进行平滑。通过截断近邻策略控制计算成本，并引入正数保护机制避免零概率值。离线计算的核权重可复用至整个训练过程，显著降低迭代开销。

4.3 蒙特卡洛Dropout贝叶斯近似

在公平性损失计算中，强制开启Dropout层并执行T次随机前向传播，对预测概率取平均作为不确定性感知的输出。结果表明，该方法能自动在低置信度区域减弱公平性约束强度，避免对边界样本的过惩罚。

5.1 通用实验设置

在合成数据实验中，控制非敏感特征x与敏感属性z的统计依赖关系后，所提方法（MLP与FT-Transformer骨干）在α=0.7时达成最优权衡：偏差降低约50%而精度损失不足1%。对比实验显示，其Pareto前沿显著优于对抗训练和预处理方法。

5.2 合成数据集实验

反事实公平性分析揭示，当α∈[0.6,0.7]时，反事实平均绝对差异（CF-MAD）与翻转率（CF-FR）同步下降，表明方法能有效抑制敏感属性变动对结果的扰动。复杂度分析进一步证实，梯度优化相比遗传算法具备次线性时间增长优势，在百万级数据上训练时间缩短两个数量级。

5.3 真实数据集实验

在荷兰普查数据上，MLP与FT-Transformer骨干在α=0.2时即可降低23%的互信息偏差，精度仅损失2.5%。FT-Transformer凭借其注意力机制对稀疏分类特征建模能力，在多重敏感属性（性别、年龄）场景下展现更稳定的偏差控制。

本研究证实，通过可微分互信息代理函数与不确定性建模的结合，能够在不牺牲模型表达能力的前提下实现精确的偏见控制。该方法为非线性分类器提供了可扩展的公平约束集成方案，其理论边界与计算效率为工业级应用奠定基础。未来工作可探索连续特征空间的泛化、多目标公平约束动态权衡，以及分布外泛化机制，进一步推动可信机器学习的发展。