未知类别数量的少样本3D点云分割

《The Knee》：Few-Shot 3D Point Cloud Segmentation with Unknown Class Number

3D点云分割中存在样本量不足、测试集类别未知等问题，本文提出LRSegNet框架，通过低秩约束特征学习模块和软秩近似解决非可微约束，并设计CGCS模块统一监督与非监督学习，实现未知类别检测与分割，在ShapeNet和S3DIS上验证有效。

　　

杨斌荣|叶旭伦

宁波大学计算机科学系，中国宁波

摘要

3D点云分割的目标是将同一对象内的所有点分组到不同的类别中，这对于点云对象重建和理解等重要应用非常有益。然而，现有的3D分割方法通常假设测试对象的类别数量是已知的，并且需要大规模的标注点云进行训练，而这些标注点云很难获得。这导致了一个问题：测试点云可能包含在训练阶段未出现的类别。为了解决上述问题，我们提出了一个新颖的深度少样本3D点云分割框架LRSegNet。具体来说，在处理少样本学习问题时，我们将一个低秩约束特征学习模块嵌入到深度3D分割框架中。由于秩约束的非可微性质，我们构建了一个软秩近似模型，将非可微约束转换为可微形式，以便在神经网络中进行基于梯度的优化。为了估计类别数量并检测新类别，我们将分割视为一个聚类问题，并引入了一个新的学习框架来统一监督学习和无监督学习。该框架促进了类别内的相似性和类别间的差异性，利用深度网络对未知类别进行聚类。在ShapeNet和S3DIS数据集上的广泛实验表明，当类别数量未预先确定时，我们的方法在点云分割方面是有效的。我们的代码可在以下链接获取：

引言

3D点云分割是计算机视觉、自动驾驶、机器人技术和增强/虚拟现实领域的一项基本任务，其目标是對场景中的每个点进行分类[1]、[2]、[3]。然而，点云的非结构化和无序特性使得语义解析成为一个重大挑战[4]、[5]。完全监督的3D语义分割方法在这个领域占据主导地位，并在各种基准数据集上展示了令人印象深刻的性能[6]。尽管如此，这些监督分割技术依赖于大规模训练数据的可用性，这需要耗时且昂贵的人工注释[7]、[8]、[9]、[10]。此外，传统的监督点分割方法假设测试点云中的类别数量与训练阶段的类别数量相等并且是预先已知的[11]、[12]。在现实世界的应用中，类别数量通常是未知的，并且训练数据集是有限的。这导致了以下问题：(1) 标注数据有限：由于手动注释耗时且成本高昂，完全标注所有点实际上是不可行的。虽然标注一小部分点是更可行的，但传统方法在这种有限的标注数据下难以有效工作。(2) 测试中的未知类别：测试数据集可能包含训练数据集中不存在的类别。仅针对已知类别训练的传统模型通常缺乏识别或适当处理这些未知类别的泛化能力。(3) 类别数量未知：监督方法通常假设类别数量是已知的，并且在训练和测试阶段保持不变。在现实世界的场景中，这一假设经常被违反，因为类别数量可能是未知的。依赖于这一假设的模型可能无法适应新类别或类别分布的变化。

为了解决这些挑战，我们提出了LRSegNet，这是一个能够处理类别数量未知场景（包括完全未标记的新类别）的新型少样本3D点云分割框架。我们的方法在深度神经网络中整合了低秩约束特征学习，增强了类别内的同质性并提高了少样本学习环境中的分割性能。为了在秩约束的非可微性情况下促进基于梯度的优化，我们开发了一种软秩近似方法，将秩优化嵌入到可微框架中。此外，我们在框架中统一了监督学习和无监督学习，使得无需额外标注数据即可检测新类别并估计其数量。这种综合方法有效地识别和处理了分割过程中的未标记数据点，推动了3D点云分割技术的进步。

本文的主要贡献如下：

1. •
   我们提出了LRSegNet，这是一个能够有效处理类别数量未知场景（包括完全未标记的新类别）的新型少样本3D点云分割框架。
2. •
   我们提出了一个结合了软秩近似方法的低秩约束特征学习模块，该模块通过施加低秩约束来增强特征的区分能力，并将非可微的秩约束转换为可微形式，从而便于在深度神经网络中进行基于梯度的优化，提高了少样本学习和分割性能。
3. •
   我们设计了对比图类相似性（CGCS）模块，该模块统一了监督学习和无监督学习，实现了新类别的检测和类别数量的估计。
4. •
   我们在ShapeNet和S3DIS数据集上进行了广泛的实验，证明了我们的方法在处理完全未标记的新类别方面的有效性。

小节片段

点云分割

在3D语义分割领域，最近的深度学习方法取得了显著进展。PointNet[2]作为第一个端到端的神经网络直接对原始点云进行分割而出现。尽管它简单高效，但它缺乏从邻近点捕获局部信息的能力。PointNet++[3]通过在输入点集的嵌套划分中递归应用PointNet来改进这一点，增强了局部特征的学习。Point Transformer[6]、[13]、[14]

方法论

在本节中，我们提出了一个端到端的模型，用于处理类别数量未知的少样本点云分割。我们提出方法的概述如图3所示。该框架首先使用深度嵌入技术从输入点云中提取紧凑特征。为了增强这些特征的区分能力，我们应用了一个低秩近似（LRA）模块，该模块对特征空间施加了低秩约束。后续的深度层进一步细化了特征。

实验

在我们的研究中，我们在两个基准数据集上进行了实验，以评估我们提出方法的有效性。据我们所知，之前没有专门针对开放集少样本3D语义分割的研究。因此，我们建立了一个评估配置，包括数据集设计、实现细节和基准设置。

结论

在本文中，我们提出了一个新型的少样本3D点云分割框架LRSegNet，它可以有效处理类别数量未知的场景。我们的方法引入了一个低秩约束特征学习模块和一个新颖的软秩近似模型，促进了深度网络的优化。此外，我们的CGCS模块统一了监督学习和无监督学习，增强了类别发现并提高了分割性能。广泛的实验

未引用的参考文献

缺少参考文献图4和图5。

CRediT作者贡献声明

杨斌荣：撰写 – 审稿与编辑，撰写 – 原始草稿，可视化，验证，软件，资源，项目管理，方法论，调查，形式分析，数据整理，概念化。叶旭伦：撰写 – 审稿与编辑，监督，方法论，资金获取。

利益冲突声明

叶旭伦报告称获得了中国国家自然科学基金会的财务支持。如果还有其他作者，他们声明没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本工作得到了中国国家自然科学基金（项目编号：62006131和62071260）和浙江省自然科学基金（项目编号：LQ21F020009和LQ22F020020）的支持。