文章摘要:
不同传感器(如rgbd相机和激光雷达)捕获的点云具有不可忽略的域间隙。大多数现有方法设计不同的网络架构,并在来自不同传感器的点云上单独训练。通常,基于点的方法在rgb-d相机的均匀分布的密集点云上取得了优异的性能,而基于体素的方法对于远程稀疏激光雷达点云更有效。在本文中,我们提出了几何到体素的辅助学习,使体素表示能够访问点级几何信息,这支持了基于体素的主干更好地泛化,并对多传感器点云进行额外的解释。具体来说,我们构建了体素引导动态点网络生成的分层几何池,有效地提供适用于体素特征不同阶段的辅助细粒度几何信息。我们对联合多传感器数据集进行了实验,以证明geoauxnet的有效性。享受精细的几何信息,我们的方法优于在多传感器数据集上训练的其他模型,并在每个单一数据集上与最先进的专家取得了具有竞争力的结果。
结论:
在本文中,我们提出了Geoauxnet,用于具有设计的几何到体素辅助学习的多传感器点云。我们构造了分层几何池来学习不同层辅助传感器感知的点级几何先验,用于传感器不可知的体素特征。为了生成我们的几何池,我们还引入了体素引导的动态点网络来利用体素先验知识进行精细的点特征提取。我们提出的几何到体素辅助以有效的方式在点级和体素级特征之间建立桥梁,而无需在推理期间使用点网络。实验结果表明了我们方法的有效性和效率。我们希望这项工作能够启发未来对点云通用表示学习的研究。
目前存在的问题:
文章主要研究内容:
之前的研究:
下