CVPR2024-5-语义匹配“Learning SO(3)-Invariant Semantic Correspondence via Local Shape Transform”

文章摘要：建立形状之间精确的3d对应关系是计算机视觉和机器人深刻影响的关键挑战。然而，现有的针对该问题的自我监督方法假设输入形状对齐完美，限制了它们在现实世界中的适用性。在这项工作中，我们引入了一种新的自监督旋转不变 3d 对应学习器，具有局部形状变换，称为 rist，它学习即使在具有挑战性的类内变化和任意方向下建立形状之间的密集对应关系。具体地说，rist学习动态地为每个点制定一个so(3)不变的局部形状变换，它将输入形状的so(3)等变全局形状描述符映射到局部形状描述符。这些局部形状描述符作为解码器的输入，以促进点云自重构和跨重构。我们提出的自我监督训练管道鼓励来自不同形状的语义对应点映射到相似的局部形状描述符，使rist能够建立密集的逐点对应。rist 展示了给定同一类别的任意旋转点云对的 3d 部分标签传输和语义关键点传输的最先进性能，大大优于现有方法。

结论：我们介绍了 rist，这是一种新颖的自监督学习器，用于跨同一类别形状的密集 3d 语义匹配，即使具有任意旋转。其鲁棒性源于我们对so(3)等变和不变表示的创新使用，实现了保持旋转等方差的动态局部形状变换。这些将全局描述符映射到局部描述符，促进密集通信的建立。我们的方法在部分标签和关键点转移等任务上优于现有的方法，增强了计算机视觉和机器人的适用性，例如ar/vr和纹理映射。未来的研究可以集中在提高常见腐败下的鲁棒性。

目前存在的问题：

• 密集3d对应主要挑战之一是难以注释密集的形状间对应关系，这限制了强监督学习范式的利用
• 自监督学习方法来解决这个问题重要限制是它们关于输入形状对对齐的严格假设，输入点云对之间建立对应关系是精确对齐的
• 对象扫描和形状实例可以任意定向，当面对旋转的输入形状时，现有方法的性能会显着下降

文章主要研究内容：

研究的编码器定义逐点局部形状变换不仅有效地来捕获局部形状语义和几何形状，而且对so(3)空间中的变换具有鲁棒性。

之前的研究：

• 自监督的方式学习点云表示的最突出方向之一是通过点云的自重建[23,38,43]进行学习
• 旋转鲁棒性的传统方法是在训练和推理过程中使用旋转增强，人们提出了各种方法来产生点云表示，这些表示对输入的旋转是等变的[2,6,29,32]或不变的[14,18,19,31,37]，证明了任意输入旋转下性能的提高。
• 用类内变化标记点云对之间的密集对应注释是不可行<