PointDreamer：基于彩色点云的零样本3D纹理网格重建技术

《IEEE Transactions on Visualization and Computer Graphics》：PointDreamer: Zero-Shot 3D Textured Mesh Reconstruction From Colored Point Cloud

从3D彩色点云生成高质量纹理网格的方法。PointDreamer通过投影点云到2D图像、扩散去噪、重新投影到3D网格的创新流程，解决了传统方法存在的纹理模糊和依赖3D训练数据的问题，并首次提出非边界优先策略解决投影 artifacts。实验表明其LPIPS得分从0.118提升至0.068，在合成和真实数据集上均表现出色。

　　

摘要：

忠实地重建具有纹理的网格对于许多应用来说至关重要。与文本或图像模态相比，使用3D彩色点云作为输入（即从彩色点云到网格的转换）在全面且精确地复制目标对象的360度特征方面具有固有的优势。尽管大多数现有的从彩色点云到网格的方法存在纹理模糊的问题，或者需要难以获取的3D训练数据，但我们提出了PointDreamer这一新颖框架，该框架利用2D扩散先验技术来提升纹理质量。关键在于，与以往基于文本或图像输入的2D扩散到3D的方法不同，PointDreamer通过一种创新的项目-填充-反投影流程，成功地将2D扩散模型适配到3D点云数据上。具体而言，它首先将点云投影为稀疏的2D图像，然后进行基于扩散的填充处理。与大多数现有的3D重建或生成方法不同（这些方法通常在3D/UV空间中预测纹理，从而导致纹理模糊），PointDreamer通过直接将填充后的2D图像反投影到3D网格上来实现高质量的纹理。此外，我们首次识别出一种常见的反投影伪影，这种伪影出现在遮挡边界处，这种现象在其他多视图图像到3D的转换过程中也很普遍，但尚未得到充分研究。为了解决这个问题，我们提出了一种名为“非边界优先”（Non-Border-First，简称NBF）的反投影策略。在各种合成数据和真实扫描数据集上的广泛定性和定量实验表明，PointDreamer即使在没有任何先验知识的情况下也能表现出最佳性能（LPIPS分数提升了30%，从0.118提高到0.068），并且对噪声、稀疏或不完整的输入数据具有很强的鲁棒性。

引言

忠实的3D网格重建是计算机视觉和图形学中的一个基本任务。其目标是准确再现现实世界物体的完整几何形状和外观。虽然从文本或图像输入生成的3D模型[1]、[2]、[3]以及网格纹理模型[4]、[5]、[6]已经取得了显著进展，但它们生成的结果仅具有粗略的语义对齐性或特定视角的一致性，无法实现高保真度的360度物理精确重建。相比之下，3D彩色点云能够从所有角度直接测量物体的表面几何形状和颜色。这一关键特性为忠实重建提供了独特的基础。因此，从稀疏且无结构的彩色点云中重建出连贯且视觉上吸引人的3D纹理网格（即从彩色点云到网格的转换）是一项至关重要的任务，它在数字孪生[7]、元宇宙[8]、文化遗产保护[9]等领域有着广泛的应用。