BRDF-NeRF：结合光学卫星图像与BRDF建模的神经辐射场技术

《International Journal of Applied Earth Observation and Geoinformation》：BRDF-NeRF: Neural radiance fields with optical satellite images and BRDF modelling

### 中文摘要 本文提出了一种结合NeRF与RPV BRDF模型的轻量化方法（BRDF-NeRF），利用三到四幅卫星图像即可生成高精度数字表面模型（DSM）和合成新视角图像。该方法通过深度监督和几何建模解决稀视角问题，采用Rahman–Pinty–Verstraete（RPV）物理模型描述自然表面的双向反射分布函数（BRDF），显著提升地表反射特性的建模精度。实验表明，BRDF-NeRF在Djibouti和Lanzhou数据集上优于Sat-NeRF和SpS-NeRF，PSNR和SSIM指标更优，且能减少地形细节的噪声，同时支持多时相数据融合。

　　近年来，随着机器学习技术的不断发展，神经辐射场（NeRF）作为一种表示三维场景和从多张图像中估计双向反射分布函数（BRDF）的前沿方法，受到了广泛的关注。然而，现有的大多数研究主要集中在近距离成像上，通常采用简化版的Microfacet BRDF模型来建模场景表面，这种方法在描述复杂地球表面时往往显得不足。此外，NeRF方法通常需要大量的同时获取的图像集，而这种条件在卫星成像中很少能够满足。为了解决这些挑战，我们引入了BRDF-NeRF，它结合了基于物理的半经验Rahman–Pinty–Verstraete（RPV）BRDF模型，该模型被证实能更好地捕捉自然表面的反射特性。此外，我们还提出了引导体积采样和深度监督，以实现用最少的视图进行辐射场建模。我们的BRDF-NeRF成功地从未见过的角度合成新的视图，并且在训练过程中仅使用三到四张卫星图像就能生成高质量的数字表面模型（DSM）。

随着高分辨率空间数据和算法如半全局立体匹配（SGM）的普及，基于图像的3D表面重建在过去二十年中取得了惊人的进展。然而，最先进的方法仍然面临一些挑战，尤其是在处理具有不同辐射特性、复杂反射函数或跨时间采集的表面时。最近的研究尝试通过利用学习算法来建模复杂的相似性函数，从而解决这些问题。NeRF作为一种新的表面重建方法，与其他基于学习的方法不同，它以一种自监督的方式运行。NeRF在单个像素而非图像块的基础上进行工作，并能生成新的合成视图。此外，NeRF还能够估计表面的BRDF，这对于大陆表面及相关应用（如土地覆盖制图、地球辐射预算评估、气候变化研究、植被密度分析以及航天传感器之间的相互校准）具有重要意义。然而，由于地球反射的各向异性特性，BRDF的估计通常需要大量的角度测量，这在仅使用几张卫星图像的情况下是一个挑战。

本文旨在从稀疏的卫星视图中显式建模表面的BRDF，并改进表面重建，特别是在具有各向异性反射特性的地表上（例如裸露土壤）。我们选择NeRF作为算法框架，因为它能够建模角度依赖的表面反射特性。我们的BRDF-NeRF工作流程设计用于仅需三张同步获取的卫星图像的场景，并结合了广泛应用于遥感领域以表示自然表面BRDF的半经验Rahman–Pinty–Verstraete（RPV）BRDF模型。据我们所知，这是首次将BRDF模型整合进神经辐射场中用于陆地表面。它扩展了我们之前在使用稀疏光学卫星图像的神经辐射场研究。

我们的研究发现，使用低分辨率图像进行立体匹配时，立体匹配的性能仅轻微受到表面BRDF变化的影响，因此可以提供足够好的深度线索用于我们的辐射场建模。在训练过程中，我们引入了深度监督，以确保NeRF预测的深度与输入深度保持一致。此外，我们还发现，当预测深度的不确定性高于输入深度时，才应用深度监督。这种策略有助于减少模糊和失真，并提高模型的鲁棒性。

在模型设计中，我们选择了基于物理的RPV模型，因为它能够准确地描述非朗伯表面的反射特性。该模型包含四个参数，分别是伪反照率（ρ?）、各向异性参数（k）、前向或后向散射参数（Θ）以及热点效应参数（ρ_c）。这些参数被整合进一个RPV渲染器中，以生成合成图像。我们还发现，通过引入这些参数，可以更准确地模拟自然表面的反射特性，从而提高图像质量和深度估计的精度。

在实验部分，我们对两个不同的数据集（Djibouti和Lanzhou）进行了评估，分别代表了裸露土壤。我们选择使用稀疏的卫星图像进行测试，以评估BRDF-NeRF在不同场景下的性能。结果显示，BRDF-NeRF在图像合成和深度估计方面均优于Sat-NeRF和SpS-NeRF。在图像合成方面，BRDF-NeRF生成的图像细节更加丰富，且失真更少。在深度估计方面，BRDF-NeRF预测的表面高度更接近真实值，且噪声更少。

我们还探讨了大气校正对模型性能的影响。大气校正对于确保卫星图像的准确性至关重要，因为它可以减少大气散射对反射信号的影响。通过使用Orfeo ToolBox（OTB）软件库，我们应用了基于6S辐射传输代码的大气校正方法。结果显示，不进行大气校正会导致合成图像出现周期性失真，且深度估计的准确性降低。因此，大气校正对于提升模型性能具有重要意义。

此外，我们还探讨了不同的训练策略对模型性能的影响。通过比较不同的预训练方法，我们发现，从朗伯假设过渡到RPV模型的预训练阶段对于模型的最终性能具有重要影响。在预训练阶段结束时，模型能够更好地初始化几何参数，从而提高RPV参数的学习效率。我们的实验结果表明，预训练策略对模型性能具有显著影响，其中预训练策略在模型性能上表现最佳。

最后，我们对BRDF-NeRF进行了定量和定性评估。定量评估显示，BRDF-NeRF在PSNR、SSIM和MAE等指标上均优于其他方法。定性评估则通过合成图像的视觉效果来展示模型的性能。结果显示，BRDF-NeRF生成的图像在细节和颜色方面均优于其他方法，且失真更少。此外，我们还发现，BRDF-NeRF在处理稀疏视图和复杂反射函数时表现出更强的鲁棒性。

综上所述，本文提出了BRDF-NeRF，这是一种基于NeRF的扩展方法，专门用于稀疏的卫星成像场景。通过引入RPV模型，BRDF-NeRF能够更准确地估计自然表面的BRDF，并在图像合成和深度估计方面表现出优异的性能。尽管目前还存在一些局限性，如未显式建模阴影效应，但未来的研究可以进一步优化这些方面，以提高模型的性能和适用性。