RemixFusion：基于残差的混合表示方法，用于大规模在线RGB-D重建

《ACM Transactions on Graphics》：RemixFusion: Residual-based Mixed Representation for Large-scale Online RGB-D Reconstruction

神经隐式表示在在线密集重建中取得进展，但存在细节缺失和训练耗时问题。RemixFusion提出混合残差表示，结合显式TSDF粗网格与隐式神经细节模块，在保证计算效率的同时提升重建精度。通过多帧BA优化姿态变化而非直接优化姿态，结合自适应梯度放大技术，实现更优收敛和全局最优解。采用局部移动体因子化混合场景表示，支持高效在线学习。实验表明该方法在映射精度和跟踪效果上均超越现有方法。

　　

摘要

神经隐式表示的引入显著推动了在线密集重建技术的发展。与传统显式表示（如TSDF）相比，它显著提高了映射的完整性和内存效率。然而，缺乏重建细节以及神经表示的学习过程耗时较长，这些因素阻碍了基于神经的方法在大规模在线重建中的广泛应用。我们提出了RemixFusion，这是一种新颖的基于残差的混合表示方法，专门用于场景重建和相机姿态估计，旨在实现高质量的大规模在线RGB-D重建。具体来说，我们提出了一种基于残差的映射表示方法，该方法结合了显式的粗粒度TSDF网格和隐式的神经模块，后者生成表示细粒度细节的残差，并将其添加到粗粒度网格中。这种混合表示方法能够在有限的时间和内存预算下实现细节丰富的重建结果，与纯隐式表示方法产生的过度平滑的结果形成对比，从而为高质量相机跟踪奠定了基础。此外，我们还将基于残差的表示方法扩展到通过捆绑调整（BA）进行多帧联合姿态优化。与直接优化姿态的现有方法不同，我们选择优化姿态的变化。结合一种新颖的自适应梯度放大技术，我们的方法实现了更好的优化收敛性和全局最优性。另外，我们采用局部移动体积（local moving volume）对整个混合场景表示进行分解，采用分而治之的设计来促进基于残差的框架中的高效在线学习。大量实验表明，我们的方法在大型场景的映射和跟踪精度方面均超越了所有现有的最先进方法，无论是基于显式表示还是隐式表示的方法。项目页面地址为：https://lanlan96.github.io/RemixFusion/。