通过3D面部重建和异常值分割实现的自监督面部去遮挡技术

《IEEE Transactions on Human-Machine Systems》：Self-Supervised Face Deocclusion via 3-D Face Reconstruction With Outlier Segmentation

面部遮挡问题是智能人机系统（如表情识别、身份验证）的关键挑战。本文提出基于自监督生成对抗网络（GAN）的框架，结合三维人脸重建与外点分割引导技术，解决传统方法依赖合成数据与预设掩码标签的局限性。实验表明，该方法在PSNR（35.71）和SSIM（0.891）指标上优于现有技术，有效提升真实场景去遮挡效果。

　　

摘要：

面部遮挡对许多人机系统来说是一个挑战，例如面部表情识别、社交信号分析和人类身份验证。准确的面部去遮挡对于提高身份识别、表情识别的性能以及人机系统的鲁棒性至关重要。因此，这一领域近年来受到了研究人员的广泛关注。然而，大多数现有方法严重依赖于合成的遮挡面部数据集和预定义的遮挡掩码标签，这限制了它们在现实世界场景中的适用性。为此，我们在本研究中提出了一种基于自监督生成对抗网络（GANs）的新框架，用于面部去遮挡，该框架将3D面部重建与异常值分割引导相结合。为了实现可靠的自我监督遮挡引导，我们引入了一个异常值分割模块，该模块利用统计先验来生成准确的遮挡掩码，从而促进去遮挡过程。此外，我们设计了一个基于GAN的双分支模块，能够同时生成遮挡掩码和去遮挡后的面部图像。在广泛使用的数据集上进行的实验表明，我们的方法在性能上优于现有方法。我们的方法在遮挡面部恢复方面达到了35.71的峰值信噪比（PSNR）和0.891的结构相似性指数（SSIM），超越了最先进的技术。

引言

面部遮挡是一些人机系统（HMSs）面临的主要挑战之一[1]、[2]，特别是对于依赖面部识别或分析技术的应用，如智能驾驶[3]、[4]、情绪和社交信号检测[5]、[6]，以及身份验证系统[7]、[8]。准确的面部去遮挡在提高HMSs在身份识别中的鲁棒性、增强表情识别的准确性以及确保社交信号检测的可靠性方面起着关键作用。常见的遮挡包括眼镜、太阳镜、口罩、帽子，以及不规则的外部障碍物，如手、围巾、头发和麦克风。随着对面部图像和视频的需求不断增加，尤其是在面部表情识别[9]、面部识别[10]和其他相关面部领域[11]中，准确的面部去遮挡越来越受到重视。有效的遮挡去除可以显著提高这些下游任务的性能。此外，随着多媒体和元宇宙应用在社交互动中的蓬勃发展，强大的面部去遮挡技术对于提高用户身份信息的可靠性和安全性至关重要[12]。