Geo-NI：一种用于光场渲染的几何感知神经插值技术

《IEEE Transactions on Pattern Analysis and Machine Intelligence》：Geo-NI: Geometry-Aware Neural Interpolation for Light Field Rendering

提出几何感知的神经插值框架Geo-NI，结合深度图像渲染与神经插值，构建优化成本体积以处理大视差和非朗伯效应，实现高效建模的光场渲染提升。

　　

摘要：

我们提出了一种新型的基于几何知识的神经插值（Geo-NI）框架，用于光场渲染。以往基于学习的方法要么通过神经网络直接进行插值（我们称之为神经插值，NI），要么利用场景几何信息进行新视角合成，这也被称为基于深度图像的渲染（DIBR）。这两种方法在处理非朗伯效应和大视差问题时各有优缺点。在本文中，我们将这两种方法的思路结合起来，将NI集成到特定的DIBR流程中。具体来说，所提出的Geo-NI中的DIBR网络用于构建一个针对不同深度假设进行神经插值的光场的新重建成本体积。该重建成本可以作为一种指标，反映在特定深度假设下的重建质量，并进一步用于指导最终高角分辨率光场的渲染。为了更实际地实现Geo-NI框架，我们还提出了一种高效的建模策略，使用低维网络对高维成本体积进行编码。通过结合NI和DIBR的优势，所提出的Geo-NI能够在场景几何信息的帮助下渲染大视差的视图，并在深度难以确定时重建非朗伯效应。在各种数据集上的广泛实验证明了所提出的基于几何知识的光场渲染框架的优越性能。

引言

光场（LF）描述了从自由空间中各个方向传播的光线[1]，解复用了传统2D成像中丢失的角度信息[2]。得益于LF渲染技术[1]、[3]，LF能够实时再现逼真的视图，从而实现元宇宙中的自由移动。标准的LF渲染技术需要满足奈奎斯特采样率要求，即相邻视图之间的视差小于一个像素[4]。然而，现有的高密度采样LF设备或系统[5]要么采集时间较长，要么面临众所周知的分辨率权衡问题，即为了在角度域实现高密度采样而牺牲空间分辨率。