FRNeRF：融合正则化场实现动态场景的高质量时空视图合成

《Computational Visual Media》：FRNeRF: Fusion and Regularization Fields for Dynamic View Synthesis

本研究针对单目视频动态场景视图合成中存在的动态物体模糊、深度信息不准确等问题，提出了融合2D-3D特征的正则化场（FRNeRF）。通过引入2D特征场增强3D场景流场的一致性，结合图像先验特征和全局对齐损失，显著提升了动态场景新视图合成的清晰度和真实感。实验表明该方法在动态场景基准测试中实现了最先进的性能，为虚拟现实、体育分析等应用提供了技术支撑。

　　

在虚拟现实、体育赛事分析和影视特效制作等领域，从单目视频生成动态场景的新视角图像是一项极具挑战性的任务。传统方法通常需要昂贵的多视角相机系统或特殊硬件设备，而基于单目视频的方法往往因动态物体的快速运动、深度信息不准确等问题，导致合成图像出现伪影和模糊现象。特别是当场景中同时存在静态和动态物体时，如何保持时空一致性成为技术难点。

现有动态神经辐射场方法（如NSFF）虽然通过分离静态和动态区域的神经辐射场来提升合成质量，但其依赖的3D场景流场存在深度估计误差，容易在快速运动区域产生像素错位。此外，传统的分层采样策略在训练过程中难以获取足够的采样点，进一步限制了动态场景的建模能力。

针对这些挑战，天津大学智能与计算学院的研究团队在《Computational Visual Media》上发表了题为"FRNeRF: Fusion and regularization fields for dynamic view synthesis"的研究论文，提出了一种创新的融合正则化场方法。该方法通过2D-3D特征融合、语义对齐约束等技术，显著提升了动态场景视图合成的质量。

研究人员主要采用了三个关键技术方法：首先设计了2D-3D融合正则化场，将2D特征场与3D场景流场相结合，通过掩码自编码器（MAE）提取图像特征，利用视觉变换器（ViT）进行语义级对齐；其次引入了基于图像先验的特征增强策略，在分层体积采样中加入局部卷积模块；最后提出混合渲染机制，结合静态和动态神经辐射场，并添加全局像素对齐损失。实验使用NVIDIA动态场景数据集，包含8个具有人体运动和无生命物体的场景，通过12台同步相机采集的图像序列进行验证。

4.2 定量结果

在NVIDIA动态场景数据集上的定量评估表明，FRNeRF在动态区域和全图像指标上均优于现有方法。在"Jumping"场景中，动态区域的SSIM达到0.705，LPIPS降至0.131；在"Truck"场景中，动态区域SSIM进一步提升至0.913。与DynamicNeRF、NSFF等方法相比，FRNeRF在平均指标上表现出明显优势，特别是在处理非刚性运动和动态模糊方面。

4.3 定性结果

视觉对比结果显示，FRNeRF生成的图像在动态区域细节保持方面显著优于对比方法。在快速运动场景（如滑冰、卡车移动）中，该方法能够有效减少伪影，保持物体结构的完整性。与NeRFPlayer、K-planes等方法相比，FRNeRF在整体质量和场景细节方面都更加出色。

4.4 消融研究

通过系统性的消融实验验证了各组件贡献。去除特征增强、2D-3D融合、3D正则化或约束损失都会导致性能下降，特别是动态区域的SSIM指标平均降低0.01-0.02，证实了各模块的有效性。完整模型在保持背景质量的同时，显著提升了动态区域的渲染精度。

该研究通过创新的融合正则化场设计，有效解决了动态场景视图合成中的关键难题。2D-3D特征融合机制克服了传统方法依赖不准确深度信息的问题，语义对齐约束提升了时空一致性。虽然该方法在训练效率方面仍有提升空间，但其在动态场景建模方面的突破为单目视频下的高质量视图合成提供了新的技术路径，在虚拟现实、沉浸式媒体等领域具有重要应用价值。