FPN（Feature Pyramid Network）详解

文章涉及个人理解部分，可能有不准确的地方，敬请指正

0. 概述

FPN，全名Feature Pyramid Networks，中文称为特征金字塔网络。它是2017年cvpr上提出的一种网络，主要解决的是目标检测中的多尺度问题。FPN通过简单的网络连接改变，在基本不增加原有模型计算量的情况下，大幅度提升了小物体检测的性能。

1. 产生动机

目标检测领域中，多尺度检测一直是个挑战，特别是小目标。以往（作者成文的时候，不是现在）检测主要分为三类：

a）使用单特征层。将特征提取网络最后一层输出的特征图，拿去做检测、识别，这是最早期，最一般的方法，该方法的缺点在于，最后一层特征图的尺寸一般都比较小了，无法准确定位目标。
b）多尺度输入。将输入图像resize成多个尺度，然后对每个尺度的图像提取出不同尺度的特征，这种方法计算量很大，因为要进行多次特征提取，即走了好几遍backbone。
c）多尺度特征。在特征提取时，保留中间层的不同尺度上的特征图，对每个尺度的特征图进行预测，这样做是不错的，但是高层特征图只具有丰富的语义信息，而低层特征图只有丰富的位置信息，没有将两者进行结合。

此时，文章作者就想到，如果能对方法 c）中不同尺度的特征图进行融合，岂不美哉，于是FPN就诞生了。

FPN的大致结构长这样：
FPN对高层特征图（尺寸越小越高）进行上采样，然后跟上一层的特征图进行相加融合，这样就使融合后的特征图既包含高层的语义信息，又包含低层的结构信息。而且这样做只增加少量的计算量，是完全可以接受的。

所以简单来说，FPN主要有两个特点：

• 输出多尺度特征图，对不同尺度的目标都有不错的效果；
• 不同尺度特征图之间进行了融合，使特征图同时具有高层语义信息和低层结构信息。

2. 网络结构详解

网络结构大致可以分为三个部分讲解，作者还分别给他们起了名

2.1 buttom-up

这一部分就是常见的特征提取网络，比如VGG,ResNet之类的，不过对特征图的输出尺度有要求，相邻的输出特征图尺度是2倍的关系。作者以ResNet为例，以conv2, conv3, conv4, conv5的输出作为输出特征图，假设他们的输出特征图分别是{ C2,C3,C4,C5}\{C2,C3,C4,C5\}{ C2,C3,C