DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution 论文笔记

前言

本文分别从宏观和微观角度对目标检测模型的backbone进行设计，进而提出DetectorRS，

• 在宏观上，提出递归特征金字塔（Recursive Feature Pyramid，RFP），它是在FPN的基础上建立的，通过将FPN中额外的反馈连接整合到自底向上的backbone中，以构成RFP，如下图所示，图中的黑色实线箭头就是所提到的反馈连接。具体来说，这个反馈连接将detector head中直接接收梯度的特征（应该就是语义信息丰富的特征）带回到backbone的较低层级的特征层中，从而能够加速训练并增强性能。
  

• 在微观上，提出可转换的空洞卷积（Switchable Atrous Convolution，SAC），它以不同的空洞率（atrous rates）对相同的输入特征进行卷积，然后使用switch函数合并卷积后的结果，如下图所示，switch函数在空间上是相关的，即特征图上的每个位置可能需要不同的switch函数来控制SAC的输出。
  

Recursive Feature Pyramid

RFP

设$B_i$表示bottom-up的主干网络中的第i个stage，$F_i$表示top-down的第i个FPN操作，那么上图（a）FPN的输出就是：

如上图（b）的高亮部分所示所示，RFP向FPN中加入了反馈连接。设$R_i$表示将特征连接到bottom-up主干网络之前的特征转换（这个特征转换应该就是图c中的绿色圆点），那么RFP的输出特征$f_i$就为：

可以看到RFP是一个递归的操作，把它展开为有序网络为（图c就是将RFP展开为一个2阶的有序网络）：

展开为有序网络之后，其实就是step-1中的FPN输出的特征图$f_i^1$经过$R_i$操作后，与bottom-up主干网络连接起来，然后再经过step-2中的FPN得到特征图$f_i^2$，从图c可以看到最终还要再经过一个融合操作（红色圆点）得到最终的输出特征图。

为了让ResNet能够同时接收xx