CV计算机视觉（9）——图像迁移之图像分割（FCN\U-Net\Mask RCNN）

前言

本文主要介绍图像迁移，图像迁移有两个主要的研究方向，一个是分割，一个是风格迁移。本文主要介绍图像分割。其中分割又包括语义分割（同类别是同一个mask表示，比如下图第二张，车都是蓝色表示，人都是红色表示，可以理解为“车”“人”就是一种语义）、实例分割（具体到个体，车A和车B是同一语义的不同实例，所以不同实例也要用不同的mask表示，如图三，车与车之间也用不同色，人与人也不同色）、全景分割（既进行语义分割也进行实例分割，如图四）。

一、图像分割Image Segmentation

下面介绍分割领域常用的几个神经网络：

1.FCN

介绍FCN前要与注意与FC区分，FC是卷积神经网络的一个功能层，而FCN是一个卷积神经网络。

FCN的网络结构如下图所示，经过一系列卷积池化操作，得到特征图FCN-32S（经过5次pooling，FM尺寸变为原图的1/32）。随着卷积网络深度的增加，高层特征图的语义信息会越来越多,而像素级信息常包含在低层FM中会越来越少,对于分割问题，由于需要标出物体的边缘，而边缘信息往往包含在低层特征图中，所以FCN提出低层和高层特征图短接的方法来获取低层特征。
FCN主要是通过三个分支来实现不同深度的FM融合，下面分别演示不融合的高层特征图、两层融合的和三层融合的特征图的边缘信息效果：

1.高层特征图
5次pooling获得的特征图FCN-32S，包含了高层语义信息，边缘信息不佳；