转置卷积与全卷积网络FCN在语义分割中的应用

转置卷积与全卷积网络FCN在语义分割中的应用

转置卷积

卷积不会增大输入的高宽，通常的情况是输入不变和减半；转置卷积可以用来增大输入高宽。

如果我们将$\mathsf{X}$输入卷积层$f$来获得输出$\mathsf{Y}=f(\mathsf{X})$并创造一个与$f$有相同的超参数、但输出通道数是$\mathsf{X}$中通道数的转置卷积层$g$，那么$g(Y)$的形状将与$\mathsf{X}$相同。

转置卷积用于逆转下采样导致的空间尺寸减小。卷积操作指的是下采样，指把图片的宽和高变小；转置卷积指的是上采样，用来增大图片的宽和高。

关键点：对一个输入而言，对其先进行卷积，再进行转置卷积，保证两次操作的超参数相同可以保证输入和输出的形状相同。

基本操作

实现基本的转置卷积运算(依照上图编写算法)

def trans_conv(X, K):
    h, w = K.shape
    Y = torch.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
    for i in range(X.shape[0]):
        for j in range(X.shape[1]):
            Y[i: i + h, j: j + w] += X[i, j] * K
    return Y

# 实现函数
X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
trans_conv(X, K)
-----------------------------------------------------
tensor([[ 0.,  0.,  1.],
        [ 0.,  4.,  6.],
        [ 4., 12.,  9.]])

# 封装好的高级API，多了一个通道和批量大小数
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)
------------------------------------------------------
tensor([[[[ 0.,  0.,  1.],
          [ 0.,  4.,  6.],
          [ 4., 12.,  9.]]]], grad_fn=<ConvolutionBackward0>)

填充、步幅和多通道

与常规的卷积不同，在转置卷积中，填充被应用于输出。

# 填充设置为1，转置卷积的输出中的第一的行和列
# 将一圈数据删除
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)
------------------------------------------------
tensor([[[[4.]]]], grad_fn=<ConvolutionBackward0>)

步幅指定为中间结果(输出)，不是输入。如下的例子将步幅从1更改为2。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, stride=2, bias=False)
tconv.weight.data