可扩展的神经光场：通过多层感知器的层级扩展实现

《IEEE MultiMedia》：Scalable Neural Light Field With Layer Add-ons of Multilayer Perceptron

神经辐射场（NeRF）通过隐式神经网络实现三维重建，但存在可扩展性差的问题。本文提出可扩展神经辐射场（S-NLF）模型，采用单MLP架构支持不同质量重建，通过添加辅助隐层提升高精度重构，并引入基础层共享机制增强样本效率。实验表明S-NLF相比基线提升40.90% Bj?ntegaard delta率，基础层共享有效实现低计算量下宽视野合成。

　　

摘要：

光场（Light Field, LF）是一种3D图像处理技术，能够以简单的方式生成沉浸式内容。最近，将隐式神经表示（implicit neural representation）概念融入光场中的神经光场（Neural Light Field, NLF）技术应运而生，显著降低了光场重建的难度。然而，NLF仍然存在可重用性方面的限制。为了解决这一问题，本文提出了一种可扩展的NLF（Scalable NLF, S-NLF）技术，该技术通过单个多层感知器（Multilayer Perceptron, MLP）即可重建不同质量的光场。S-NLF具有可扩展的结构：使用较小的MLP即可实现低质量重建，而通过添加辅助隐藏层则可实现高质量重建。此外，本文还提出了基础层（Base Layer, BL）共享机制，以进一步提升样本级别的处理效率。BL共享机制实际上是指不同S-NLF之间共享部分隐藏层。实验结果表明，S-NLF的Bj?ntegaard delta率提升了40.90％；同时，通过最少数量的MLP成功合成了宽视场图像。

疫情增加了对远程活动的需求，例如远程工作和远程教育，在医疗领域尤其如此，高效性和准确性至关重要。1,2 在新型视图合成领域，人们一直在努力研究如何实现这种高效性和准确性。随着人工智能技术的成熟，如今许多基于深度学习的方法也被应用于新型视图合成。传统3D建模直接从多张2D图像估计3D几何结构，5）而最新的深度学习方法不仅替换了部分组件，还用深度学习网络替换了整个端到端处理流程。6）最近，基于隐式神经表示（Implicit Neural Representation, INR）的神经辐射场（Neural Radiance Field, NeRF）技术受到了广泛关注。7）该技术具有易于处理和高重建性能的特点，引发了多个研究领域的后续研究。