研究人员开发了一种新的图像去噪方法

使用“路径跟踪”算法渲染的高质量视觉显示经常有噪声。现有的基于监督学习的去噪算法依赖于外部训练数据集，训练时间长，当训练图像与测试图像不一致时，去噪效果不佳。现在，来自光州科学技术学院、VinAI研究所和滑铁卢大学的研究人员提出了一种新的自监督后校正网络，可以在不依赖参考的情况下提高去噪性能。

　　

   

   

来自韩国光州科学技术学院、越南VinAI研究所和加拿大滑铁卢大学的研究人员提出了一种使用后校正网络和自监督机器学习框架提高路径跟踪视觉质量的新方法。该模型可以在飞行中训练，在12秒内输出高质量的图像。    

图片来源:Bochang Moon来自韩国光州科学技术学院

高质量的计算机图形，在游戏、插图和可视化中无处不在，被认为是最先进的视觉显示技术。用于渲染高质量和真实图像的方法被称为“路径跟踪”，它利用基于监督机器学习的蒙特卡洛(MC)去噪方法。在该学习框架中，首先用有噪声和干净的图像对对机器学习模型进行预训练，然后将其应用于待渲染的实际有噪声图像(测试图像)。虽然在图像质量方面被认为是最好的方法，但如果测试图像与用于训练的图像明显不同，这种方法可能不会很好地工作。

为了解决这一问题，一组研究人员，包括韩国光州科学技术学院的博士生钟熙·白宗熙(Jonghee Back)和副教授文博昌(Bochang Moon)，越南VinAI研究所的研究科学家Binh-Son Hua，以及加拿大滑铁卢大学的副教授Toshiya Hachisuka，在一项新的研究中提出了一种新的MC去噪方法，该方法不依赖于参考。他们的研究于2022年7月24日在线发布，并发表在ACM SIGGRAPH 2022年会议论文集上。

“现有的方法不仅在测试和训练数据集非常不同的情况下失败，而且需要很长时间准备训练数据集来预训练网络。我们需要的是一个神经网络，它可以只使用测试图像进行训练，而不需要预先训练。”莫恩博士解释了他们研究背后的动机。

为了实现这一目标，该团队提出了一种新的去噪图像后校正方法，该方法包括一个自监督机器学习框架和一个后校正网络，基本上是一个卷积神经网络，用于图像处理。后校正网络不依赖于预训练的网络，可以在不依赖参考的情况下使用自我监督学习的概念进行优化。此外，自监督模型对传统的监督模型进行了去噪的补充和提升。

为了测试所提出的网络的有效性，该团队将他们的方法应用到现有的最先进的去噪方法。提出的模型证明，相对于输入图像，通过保留更精细的细节，渲染图像质量有三倍的提高。而且，整个动态训练和最终推理的过程只花了12秒!

“我们的方法是第一个不依赖于使用外部数据集进行预训练的方法。这实际上将缩短动画和电影等基于离线渲染的内容的制作时间，提高质量。”Moon博士说，推测他们工作的潜在应用。

事实上，这项技术可能很快就会被应用于视频游戏、增强现实、虚拟现实和元宇宙的高质量图形渲染中!

文章标题

Self-Supervised Post-Correction for Monte Carlo Denoising