来自光子的辐射场

《ACM Transactions on Graphics》：Radiance Fields from Photons

单光子辐射场（QRFs）通过直接利用单光子相机的高速采样和低噪声特性，有效解决了传统神经辐射场（NeRFs）在低光、高动态范围和快速运动场景下的重建问题。该方法通过优化连续泊松分布的 photon 检测概率，结合傅里叶域相机姿态平滑正则化，避免了传统预处理（如平均多帧）引入的模糊问题，同时利用大量帧的密集采样提升几何约束和泛化能力。实验表明QRFs在极端光照和运动条件下仍能保持高重建质量，且训练效率通过位打包和内存映射优化后接近传统方法的两倍速度。

　　神经辐射场（NeRFs）已经成为了从多个视角捕获图像集合中进行高质量视角合成的主流方法。然而，当在现实场景中捕获图像时，尤其是在低光、高动态范围或快速运动等复杂条件下，NeRFs仍然面临诸多挑战。这些问题会导致重建的图像出现明显的伪影，从而影响其应用效果。本文提出了一种全新的神经辐射场——量子辐射场（Quanta Radiance Fields，QRFs），它通过单光子相机（Single-Photon Cameras, SPCs）以单个光子为基本单位进行训练。这种创新方法旨在解决传统NeRFs在处理现实图像时遇到的诸多问题，同时提高在极端条件下的重建质量和视角合成能力。

传统NeRFs在处理图像时通常以像素为最小单位进行建模，这意味着它们在学习场景的光度信息时会受到图像中各种噪声、模糊和饱和效应的影响。这些图像缺陷会“烘焙”进神经网络学习到的辐射场中，使得在训练之后难以去除或减轻。相比之下，QRFs利用SPC的特性，直接以单个光子为单位进行建模。SPC能够捕捉到单个光子，并以超高帧率（高达100 kHz）进行数据采集，这种特性使其在低光、高动态范围和快速运动等极端条件下具有独特优势。通过将光子作为基本单位，QRFs能够更精确地表示场景的光度信息，同时避免传统方法中由于像素聚合带来的模糊问题。

在本文中，我们开发了一套理论和实际计算方法，用于构建QRFs并从SPC捕获的非传统、随机和高速二进制帧序列中估计密集的相机姿态。我们通过仿真和实际的SPC硬件原型，展示了QRFs在高速运动、低光和极端动态范围场景下实现高保真重建的能力。QRFs的构建方法允许直接在神经体积中聚合测量结果，从而绕过昂贵的预处理步骤，并将噪声与模糊之间的权衡问题转化为约束的相机姿态优化和3D重建问题。这种直接在神经体积中进行优化的方法，使得QRFs能够在相同的训练时间内实现比传统方法更高质量的重建。

此外，我们还针对QRFs的训练数据量问题提出了解决方案。由于SPC能够以极高的帧率捕获大量二进制帧，传统的数据加载方法可能无法处理如此庞大的数据集。我们采用了一种新的数据加载方案，将二进制帧进行位打包，使得训练时间仅比使用传统图像的方法增加约20%。这一方案不仅提高了数据处理的效率，还使得QRFs在实际应用中更加实用。

QRFs的优势还体现在其对视角扩展的能力上。由于SPC的高采样率，它能够在相同总捕获时间内提供更多的视角信息。这种密集的视角信息使得QRFs能够更好地进行视角扩展，即生成远离训练数据的视角。相比之下，传统相机由于帧率较低，往往会导致视角模糊或出现鬼影等伪影。QRFs通过利用高采样率和连续的视角信息，能够在视角扩展方面表现出色，生成更高质量的视角合成结果。

在低光条件下，QRFs能够显著优于传统方法。传统方法在低光条件下会受到读取噪声的严重影响，导致重建结果出现模糊或失真。而QRFs由于直接以光子为单位进行建模，其噪声主要来源于光子到达的统计特性，而非传感器本身的读取噪声。这种特性使得QRFs在低光场景下能够保持较高的重建质量，甚至在极低光条件下仍然能够识别场景的细节。在极端高动态范围场景中，QRFs同样表现出色，能够捕捉到传统方法无法表现的细节，如木质地板上的反射和书架上的书籍。

QRFs的另一个重要优势在于其对运动模糊的处理能力。传统方法在处理运动模糊时通常需要依赖复杂的预处理步骤，如光学流或运动补偿技术。然而，这些方法在高噪声或高运动速度的场景下可能失效，导致重建结果不准确。而QRFs通过在神经体积中直接进行相机姿态优化，能够同时处理运动模糊和噪声问题。我们设计了一种基于傅里叶域的正则化方法，通过平滑相机轨迹来提高重建质量。这种正则化方法能够有效减少噪声对相机姿态估计的影响，使得最终的重建结果更加稳定和准确。

此外，QRFs在使用3D高斯点（Gaussian Splatting）框架进行显式重建时也表现出色。传统的高斯点方法在处理运动模糊数据时可能会导致点云不稳定或不收敛。而QRFs通过引入分阶段的时序平滑和细化过程，能够有效解决这一问题。在第一阶段，我们对二进制帧进行时序平滑，减少噪声对点云生成的影响。在第二阶段，我们逐步降低平滑参数，提高点云的细节表现。这种分阶段的方法不仅提高了重建质量，还确保了训练过程的稳定性。

在实际应用中，我们使用了一款名为SwissSPAD2的单光子相机进行实验验证。该相机能够在512×512的分辨率下以97 kHz的帧率进行数据捕获。通过平均多个连续的二进制帧，我们可以模拟传统相机在任意较低帧率下的效果，从而进行直接比较。实验结果表明，QRFs在低光和高动态范围场景下能够生成更高质量的重建，而传统方法则容易出现颜色失真和伪影。

然而，QRFs仍然面临一些挑战。首先，虽然我们能够通过傅里叶域正则化方法平滑相机轨迹，但在实际应用中，相机姿态的初始估计仍然是一个关键问题。目前，我们主要依赖COLMAP等结构从运动（Structure-from-Motion）技术进行初始姿态估计，但由于SPC的分辨率有限，这些初始估计可能不够精确。其次，SPC目前仍处于发展阶段，其分辨率和颜色处理能力有限，这可能影响QRFs的最终表现。此外，尽管QRFs在高采样率下能够减少噪声，但在某些情况下，过度的平滑可能会导致细节丢失。

未来的研究方向包括提高SPC的分辨率和颜色处理能力，以及开发更高效的相机姿态估计方法。同时，QRFs的理论基础和实际应用仍有待进一步探索。例如，如何在不同类型的场景中优化QRFs的训练过程，如何提高其在实际应用中的鲁棒性，以及如何与其他3D重建技术（如深度学习和几何建模）进行融合，都是值得进一步研究的问题。此外，随着SPC技术的成熟，QRFs有望在更多实际场景中得到应用，如自动驾驶、增强现实和混合现实等。这些技术的发展将为QRFs的应用提供更广阔的空间。