RGB-Depth Fusion GAN for Indoor Depth Completion——用于室内深度补全的 RGB 深度融合 GAN（摘要）

摘要
室内传感器由于无法感知透明物体和搜寻距离范围有限等一些固有的限制，通常会出现深度图有缺失的现象，如下图的大面积黑色部分即为深度缺失部分。

不完整的深度图给许多下游视觉任务带来了负担，为了缓解这一问题，人们提出了越来越多的深度补全方法。不完整的深度图给许多下游视觉任务带来了负担，为了缓解这一问题，人们提出了越来越多的深度补全方法。**本文设计了一种新型的两分支端到端融合网络，以一对RGB 和不完整深度图像作为输入，预测出密集的完整深度图。***第一个分支采用编码器-解码器结构，借助从RGB 图像中提取的局部制导信息，从原始深度图中回归局部密集深度值。*在另一个分支中，*我们提出了一种RGB-深度融合GAN，将RGB图像转换为细粒度纹理深度图。***我们采用名为W-AdaIN的自适应融合模块跨两个分支传播特征，并附加置信度融合头来融合分支的两个输出以获得最终的深度图。**在NYU-Depth V2 和SUN RGB-D 上的大量实验表明，我们提出的方法明显提高了深度完井性能，特别是在更真实的室内环境设置中，借助伪深度图。

学习：
（1）常用的深度补全方法
常用的深度补全方法有以下几种：

1. 基于图像的深度补全方法：这种方法通过分析图像中的纹理、边缘等信息，来推测缺失区域的深度值。常见的算法包括基于纹理合成的方法、基于边缘传播的方法等。

2. 基于传感器的深度补全方法：这种方法利用多个传感器（如RGB相机、深度相机等）的数据进行融合，从而得到更准确的深度信息。常见的算法包括基于双目视觉的方法、基于结构光的方法等。

3. 基于学习的深度补全方法：这种方法利用机器学习算法，通过训练模型来学习深度补全的规律和特征。常见的算法包括基于卷积神经网络（CNN）的方法、基于生成对抗网络（GAN）的方法等。

4. 基于几何约束的深度补全方法：这种方法利用场景中物体之间的几何关系，通过几何约束