【CVPR‘24】DFU：用特征上采样增强深度补全，Improving Depth Completion via Depth Feature Upsampling

代码地址：https://github.com/YufeiWang777/DFU

摘要

编码器-解码器网络 (ED-Net) 是现有深度补全方法中常用的选择，但其工作机制尚不明确。本文中，我们通过可视化内部特征图来分析网络如何将输入的稀疏深度密集化。我们发现，ED-Net 的编码器特征主要集中在有输入深度点的区域。为了获得密集特征并估计完整深度，解码器特征通过跳跃连接来补充和增强编码器特征，使融合的编码器-解码器特征密集化，导致解码器特征也表现为稀疏。然而，ED-Net 在前一阶段通过“密集⇒稀疏”的过程从密集的融合特征中获取稀疏解码器特征，这一过程破坏了特征的完整性并丢失了信息。为了解决这个问题，我们提出了一种深度特征上采样网络（DFU），该网络显式利用这些密集特征来指导低分辨率（LR）深度特征到高分辨率（HR）特征的上采样。在整个上采样过程中保持了特征的完整性，从而避免了信息丢失。此外，我们提出了一个置信度感知的引导模块 (CGM)，该模块具有自适应感受野 (GARF)，能够充分利用这些密集特征作为引导。实验结果表明，DFU 作为一个即插即用的模块，可以在有限的计算开销下显著提高现有基于 ED-Net 方法的性能，并获得了新的最先进 (SOTA) 结果。此外，其在更稀疏深度上的泛化能力也得到了增强。

1. 引言

准确且密集的场景深度对于多种应用至关重要，例如自动导航和增强现实。现有的主动深度传感器由于成像原理和功率限制，通常只能获取高度稀疏的深度信息。例如，64 线 LiDAR 提供的深度中只