RefineNet
这个网络主要针对使用膨胀卷积在不进行下采样扩大感受野出现的限制(限制高层特征和输出尺度只能为输入的1/8,膨胀卷积导致严重的细节损失),以及FCN8-s不能有效利用中间层信息。这里认为所有层的信息对于语义分割都是有帮助的。高层的信息识别图像的区域类别,底层有利于保留轮廓、细节等信息。RefineNet结合这些特征进行设计。
网络结构如下所示,这里主要是将不同分辨率的特征图进行融合,最左边一栏使用的是ResNet,即将图像通过预训练好的ResNet获得特征图(这个ResNet按特征图的分辨率分成四个ResNet blocks,不同的block输出不同分辨率的特征图,这样就有高层和低层特征之分),然后向右把四个blocks分别作为4个path通过RefineNet block进行融合,最后获得一个refined特征图。除了RefineNet-4,所有的RefineNet block 都是二输入的,用于融合不同level做refine。

RefineNet和之前分割网络的对比如下所示,可以看出其融合了各层的信息:

具体的block如下图所示: