一种用于实时渲染（RTI）应用中精确重新照明的神经反射场模型

《ACM Transactions on Graphics》：A Neural Reflectance Field Model for Accurate Relighting in RTI Applications

本文提出一种基于神经辐射场（NRF）的反射变换成像（RTI）方法，通过隐式神经表示和局部隐向量编码，有效建模了物体在不同光照下的反射特性。实验表明，该方法在合成数据集和真实场景中均优于现有技术，支持高效压缩和实时渲染。（110字）

　　Reflectance Transformation Imaging (RTI) 是一种计算摄影技术，它通过固定视角下不同光源方向的图像采集，来估计每个点的光传输函数，从而实现对物体的交互式重新照明。这种技术能够揭示物体表面的特征，为视觉化和分析提供工具。RTI 应用于多个领域，包括文化资产保护、工业表面检测、考古学以及医学成像等。其核心目标是通过非接触和非破坏的方式，对文物等物体进行视觉检查。对于具有丰富表面纹理的平面物体，RTI 是特别有用的，因为这些物体的三维扫描并不必要。经典例子包括工业表面的微划痕、硬币和浮雕等。

RTI 的工作流程包括多个阶段。首先，通过多个光源方向从固定相机位置拍摄物体，这是 RTI 的“采集”阶段。这一阶段的光照分布对于揭示表面细节至关重要，因为单一曝光无法捕捉到这些细节。不同的采集设置可以用于获取图像，例如单移动光源方法（也称为 Highlight-RTI）和 Dome RTI。采集后的数据被称为“多光源图像集合”（MLIC），它代表了光传输函数的稀疏离散采样。第二个阶段，即“建模”，是 RTI 的核心，它涉及到将 MLIC 数据数值化为一个插值器，从而定义光传输函数。与其它重照明技术不同，RTI 的目标是减少存储所需字节数，同时最大化从未观察过的光源方向重照明的物理准确性。这种做法不仅允许在没有物理物体的情况下进行后期检查，还能通过轻量级的网络界面进行交互。

在本文中，我们提出了一种新的 RTI 方法，该方法将表面反射率表示为一种隐式神经表示，作为一种“可重新照明的图像”来描述特定物体的表面特性。我们使用“神经反射场”（NRF）模型来表示光传输函数，将像素坐标、光源方向和一个编码局部像素反射率的潜在向量作为输入。这些向量在训练过程中计算得出，使得 NRF 能够比纯隐式表示（仅依赖于位置编码）更准确地进行重照明，从而处理复杂的表面阴影。此外，这些向量可以高效地与学习到的 NRF 一起存储，以实现压缩和传输。作为另一个贡献，我们提出了一个包含各种形状和材质的合成数据集，这些物体是通过物理基于的渲染软件创建的。公开可用的合成数据集基准，如 Dulecha 等人提出的，通常在 MLIC 的大小上有限，并且缺少具有复杂阴影和镜面反射的物体。此外，这些数据集的光照分布通常不覆盖完整的入射半球，这限制了它们在新光照方向上的一般化能力。我们的合成数据集避免了这些缺点，包括大尺寸的 MLIC 和复杂的物体形状。

我们还提出了一种新的合成数据集，用于评估经典和学习型 RTI 方法。由于公开的 RTI 数据集有限，我们的数据集在处理具有挑战性的实际现象如阴影和镜面反射方面具有重要价值。该数据集包含从不同公开 3D 模型库中收集的九个模型，从简单的平面表面到复杂的几何形状。在必要时，每个模型经过手动编辑、对齐和缩放以保持一致的参考系。我们使用了最先进的渲染器 Mitsuba3 来生成 MLIC 数据，并应用了真实世界中测量的各向同性和各向异性材料数据库。这些材料展示了不同的表面散射现象，如平滑漫反射材料、粗糙导体材料和平滑塑料材料。我们的合成数据集样本图像显示了不同几何模型与材料的组合，如 Tondo、Horses、Ta Prohm、Bayon 浮雕、Lion、Theodore、Andrew、Cabbage 和 Panel。数据集的光照分布被划分为训练集和测试集，分别用红色和蓝色点表示。

在实验部分，我们评估了我们提出的模型在合成数据集和公开数据集上的表现。我们对九个模型进行了训练，每个模型使用不同的材料，产生九个 MLIC。每个 MLIC 包含 100 张图像，分辨率为 256×256。我们保留了 80 个光源方向用于训练，剩下的 20 个用于测试。对于 Dulecha 等人提出的公开数据集，我们考虑了其真实世界数据和合成多材料数据。我们选取了每个物体的 10 个测试光源，并使用其余的进行训练。SynthMulti 数据集展示了 27 次同一物体表面在不同材料组合和 16 种色调下的渲染结果。我们使用了 49 个光源用于训练，对应于作者定义的“Dome”光源，这些光源以五个不同的高度分布在同心环上。剩下的 20 个光源用于测试，如原始论文所述。所有的训练和测试划分在所有实验中是固定的。

我们提出的方法在所有评估指标中都优于其他方法，包括 PSNR、SSIM、LPIPS 和 RMSE。我们还分析了不同输入配置对模型性能的影响，例如不同的光照映射函数（HSH 或傅里叶），像素坐标的使用以及编码特征向量（MLIC 块编码器、标准 PCA 投影或无）。我们还探讨了在不同光源数量下模型性能的变化，以及通过 PCA 投影压缩 MLIC 的影响。我们的方法在处理复杂表面细节和阴影方面表现出色，而其他方法如 RBF 和 NeuralRTI 在某些情况下无法准确恢复这些细节。

此外，我们还比较了我们的方法与其他单图像和 NeRF 基于的方法。我们的模型在存储和计算效率方面优于这些方法，同时保持了较高的重照明质量。在动态可视化方面，我们生成了视频来比较重照明结果，展示了在变化光照条件下模型的性能。尽管我们的方法仍存在一些艺术瑕疵，但在阴影表示方面显著优于其他方法。

最后，我们得出结论，我们的方法为 RTI 应用提供了一种新的神经反射场模型，能够更准确地处理复杂的表面阴影和镜面反射，同时保持较低的存储和计算需求。我们还提出了一种合成数据集，为 RTI 和相关应用提供了一个共同的基准。该数据集与生成代码一起公开可用，为研究和开发提供了宝贵的资源。