【《基于特征金字塔网络的Faster R-CNN目标检测算法分析案例》10000字】

[44]，生成最终的特征图。1.5.3基于残差网络的特征金字塔网络结构 本文是基于ResNet-101网络构建特征金字塔结构，基于该网络的FPN的总体架构如图3-15所示，由自底而上路径、自顶而下路径、横向连接与卷积融合4个部分组成。自底而上路径是最左侧的ResNet-101卷积网络，其提取不同层的语义信息。由1.4.1节的表3-1可知，ResNet-101不同的卷积组分别记为Conv1、Conv2_x、Conv3_x、Conv4_x和Conv5_x。构建FPN选取该网络Conv2_x、Conv3_x、Conv4_x、Conv5_x层最后一个残差块的输出作为FPN层的输入，分别计为C2、C3、C4、C5。没有将Conv1包含到金字塔里是因为该层特征尺寸较大且语义信息不足，并且包含较多数据量会占用大量的内存。中间的是自顶而下路径，该部分首先对C5进行1×1的卷积，以降低通道数，得到的新的图像记为M5，然后依次进行两倍的上采样，其目的是得到与C4、C3和C2长宽相同的特征图，方便下一步进行逐元素相加。为了简单起见，这里的上采样使用的是最近邻插值，即直接对临近元素进行复制。横向连接是为了将上采样后的具有高级语义特征的顶层与具有高分辨率的且包含定位细节特征的底层进行融合。包含高语义特征的顶层经过上采样后，其长宽与对应的底层特征图相同，但是特征通道数固定为256，因此需要对底层特征图C2、C3和C4进行1×1卷积，通过降维使其通道数都变为256，之后再将元素逐一相加得到M4、M3和M2。卷积消融部分是为了消除上采样过程带来的混叠影响，该部分通过3×3的卷积核对生成的M2、M3和M4进行卷积操作，从而保证特征图混叠后特征连续，最终生成P2、P3和P4，最后再将P5进行下采样处理得到P6，P6是为了FasterR-CNN中的RPN网络设计的，其目的是获取更大感受野的特征。图3-15基于ResNet-101的FPN网络结构1.6融合特征金字塔的FasterR-CNN模型在原本的FasterR-CNN中，RPN是一个通过滑动窗口对目标是前景还是背景进行二分类并对其边界框进行回归的检测器。首先其利用3×3的滑动窗口在特征提取网络最后一层输出的单尺度特征图上进行卷积操作，生成固定长度的特征向量，之后将特征向量传向两个并行的1×1卷积结构，分别用于分类和回归。将这部分结构定义为网络的头(networkhead)。前景（物体）还是背景（非物体）、边界框回归与否的判断标准都是根据锚框定义的，提前设定了具有3种尺寸(128×128,256×256,512×512)和3种长宽比例(1:1,1:2,2:1)的锚框，其目的是为了能全面的涵盖不同大小的物体。融合了FPN之后的FasterR-CNN中，利用FPN多层输出的多尺度特征图代替原本的单尺度特征图来适应RPN。如图3-17所示，将一个相同设计的网络头部(3×3Conv和两个并行的1×1Conv)加到特征金字塔的每一层。由于网络头部在所有金字塔层所有位置都是密集滑动的，因此不需要对每一层定义多尺度的锚参考框，而是为金字塔的每一层分配单一尺度的锚参考框。具体来说，在P2、P3、P4、P5和P6层上锚参考框的尺寸分别设定为:32×32、64×64、128×128、256×256和512×512，锚参考框的长宽比例还是三种：1:1、1:2和2:1。因此，金字塔上总共有15个锚参考框。训练正负标签的分配原则与原FasterR-CNN一样，需要注意的是，结合了FPN之后，没有明确的将标准框尺度分配到金字塔各层次，相反的，锚参考框被分配到金字塔各层次，标准框与锚参考框有关。除此以外，原FasterR-CNN中RoIPooling层是在单尺度特征图上执行，融合FPN后，需要将不同尺寸的有效的感兴趣区域分配给相应的金字塔层。为判断感兴趣区域具体分配到哪一层，以224×224的输入大小，定义如下分配策略：将宽为w，高度为h的有效的感兴趣区域分给特征金字塔的第Pk层，其中k的计算公式如式所示：（3-12）这里的k表示层数，因此做取整操作，避免结果不是整数。这里使用的是下取整，即取不超过该实数的整数中最大的一个。这样的分配规则保证了大的感兴趣区域从高语义的特征图上产生，有利于检测大物体，小的感兴趣区域从高分辨率的特征图上产生，有利于小的物体检测如图3-16所示，基于残差网络的FasterR-CNN系统，它将Conv_4最后一层的输出特征图(C4)作为单尺度特征图来提取感兴趣区域特征，经过RoIPooling层后映射为14×14大小，之后再将特征送入Conv5_x层(C5)，最终进入预测器的头部(特定类别的分类器和回归器)得到分类结果和边框回归结果。但是融合FPN后，首先，对各层的输出特征图采用感兴趣区域池化来提取7×7大小的特征，之后将预测器的头部应用到所有层的RoIPooling层输出，在各层共享参数。由于Conv5_x(C5)已经被用作特征提取器得到P5层，因此这里在最终的分类和边界框回归层前面单独设计两个1024维的全连接层来代替原来