【论文阅读】-KPConv-点云卷积网络-1

文章摘要：
我们提出了核点卷积1 (kpconv)，这是一种新的点卷积设计，即在没有任何中间表示的情况下对点云进行操作。kpconv的卷积权值通过核点位于欧氏空间中，并应用于靠近它们的输入点。它使用任意数量的内核点的能力比固定网格卷积提供了 KPconv 更大的灵活性。此外，这些位置在空间上是连续的，可以通过网络学习。因此，kpconv可以扩展到可变形卷积，学习使核点适应局部几何。由于常规子采样策略，kpconv 对不同的密度也高效且稳健。它们是否对复杂的任务使用可变形的kpconv，或者对于更简单的任务使用刚性kpconv，我们的网络在多个数据集上优于最先进的分类和分割方法。我们还提供消融研究和可视化，以了解 KPconv 学习的内容，并验证可变形 KPconv 的描述性能力。

结论：

在这项工作中，我们提出了 kpconv，这是一种对点云进行操作的卷积。kpconv 将半径邻域作为输入，并使用空间位于一小组内核点的权重对其进行处理。我们定义了这个卷积算子的可变形版本，它学习局部移位有效地变形卷积核，使它们适合点云几何形状。根据数据集的多样性，或者选择的网络配置、可变形和刚性 KPconv 都很有价值，我们的网络几乎为每个测试数据集带来了新的最先进的性能。我们发布我们的源代码，希望帮助进一步研究点云卷积架构。除了提出的分类和分割网络之外，kpconv 可用于 cnns 解决的任何其他应用程序。我们相信可变形卷积可以在更大的数据集或具有挑战性的任务中蓬勃发展，例如对象检测、激光雷达流量计算或点云完成

目前存在的问题及之前的研究：

• 点云数据处理的挑战：点云数据是不规则的、无序的，与二维网格数据不同，这使得卷积操作的定义和实现更加复杂，点云数据的稀疏性和密度变化使得传统的卷积操作难以直接应用
• 现有方法的局限：基于网格的方法（grid-based category）需要将点云投影到规则结构上，这可能会丢失点云的原始信息；使用多层感知器（MLP）直接处理点云的方法虽然可行，但会使卷积操作变得复杂，且网络收敛困难；现有的点卷积方法（如PCNN和Flex-convolution）存在计算复杂度高、对密度变化不鲁棒等问题（2. Related Work）。
• 可变形卷积的适应性问题：直接将图像中的可变形卷积应用于点云数据会导致内核点被拉离输入点，因为点云数据具有稀疏性，存在空的空间；这种“丢失”的内核点现象会影响网络的性能，需要通过正则化策略来解决。
• 内核点的初始化和正则化：内核点的位置对于卷积操作至关重要，特别是对于刚性内核，需要找到一种规则的排列方式；可变形内核需要通过正则化来确保内核点适应点云的几何形状，避免内核点在空的空间中“丢失”

文章主要研究内容：

1. 核函数定义：KPConv使用一组核点（kernel points）来定义卷积操作，这些核点在空间中定位，并带有滤波权重。核点的数量不受限制，使得设计非常灵活。核函数通过对输入点云中的局部区域应用不同的权重来实现卷积操作。

2. 刚性和可变形核：文章提出了两种版本的KPConv：刚性（rigid）和可变形（deformable）。刚性版本的KPConv在初始化时使用规则排列的核点，而可变形版本的KPConv通过学习核点的位置来增加其容量，使其能够适应点云的几何形状。

3. 核点网络层：文章详细描述了如何将KPConv理论应用于实际的网络层中，包括如何初始化核点、如何处理不同密度的点云数据以及如何进行卷积操作。

4. 正则化策略：为了解决可变形核点在点云中可能被拉离输入点的问题，文章提出了一种正则化策略，通过惩罚核点与其最近邻点之间的距离来确保核点能够适应点云的几何形状。

论文思路

• 直接对点云进行卷积的算子：都考虑点云的局部空间属性，都强调卷积操作应该能够根据点云的局部几何结构来灵活地调整和应用滤波器。
• K近邻在非均匀采样中不稳健，利用半径近邻结合常规采样保证鲁棒性；与归一化策略相比减轻计算成本
• 希望 核g 对该领域的不同领域应用不同的权重。
• 对于一次卷积操作中涉及到的每个操作点，严格按照规则的矩形可能并不是最优的，所以在Deformable Convolution中，先计算出每个点相对于原始位置的偏移量，然后用偏移量修改位置后，再执行卷积。
• 论文指出，直接引入Deformable，效果并不好，需要配合以下两个 loss 一起使用。