计算机视觉应用开发课件：特征融合

特征融合特征融合的概念01任务特征融合的方法02任务学习目标认识什么是特征融合掌握常见的特征融合方法1特征融合的概念1特征融合的概念特征融合，即融合不同尺度（低层和高层）的特征。在很多工作中，融合不同尺度的特征是提高分割性能的一个重要手段。如何将低层特征和高层特征高效融合，取其长处，弃之糟泊，是改善分割模型的关键。特征融合是为了提高网络对特征的表达能力，进而使得网络可以得到更准确的分割结果。不同的特征融合方法有着不同的效果，如何寻求更有效的特征方法对网络性能有着进一步的提升，是目前语义分割研究的一个热点问题。2特征融合的方法2特征融合的方法按照融合与预测的先后顺序，分为早融合（Earlyfusion）与晚融合（Latefusion）。早融合早融合（Earlyfusion）：就是在特征上进行融合，进行不同特征的连接，输入到一个模型中进行训练。先融合多层的特征，然后在融合后的特征上训练预测器，只有在完全融合之后，才进行检测。这类方法也被称为skipconnection，即采用concat、add操作。这一思路的代表是Inside-OutsideNet(ION)和HyperNet。两个经典的特征融合的方法：（1）concat：系列特征融合，直接将两个特征进行连接。两个输入特征x和y的维数若为p和q，输出特征z的维数为p+q。（2）add：并行策略，将这两个特征向量组合成复合向量，对于输入特征x和y，z=x+iy，其中i是虚数单位。2特征融合的方法2特征融合的方法（1）concat是通道数的增加;（2）add是特征图相加，通道数不变add是描述图像的特征下的信息量增多了，但是描述图像的维度本身并没有增加，只是每一维下的信息量在增加，这显然是对最终的图像的分类是有益的。而concatenate是通道数的合并，也就是说描述图像本身的特征数（通道数）增加了，而每一特征下的信息是没有增加。concat每个通道对应着对应的卷积核。而add形式则将对应的特征图相加，再进行下一步卷积操作，相当于加了一个先验：对应通道的特征图语义类似，从而对应的特征图共享一个卷积核（对于两路输入来说，如果是通道数相同且后面带卷积的话，add等价于concat之后对应通道共享同一个卷积核）。因此add可以认为是特殊的concat形式。但是add的计算量要比concat的计算量小得多。2特征融合的方法2.晚融合晚融合（Latefusion）：指的是在预测分数上进行融合，做法就是训练多个模型，每个模型都会有一个预测分数，对所有模型的结果进行融合，得到最后的预测结果。通过结合不同层的检测结果改进检测性能，尚未完成最终融合之前，在部分融合的层上就开始检测，会有多层的检测，最终将多个检测结果进行融合。FPN（FeaturePyramidNetwork）算法同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到预测的效果。并且预测是在每个融合后的特征层上单独进行的，这和常规的特征融合方式不同。2特征融合的方法（1）自下而上：最左侧为普通的卷积网络，默认使用ResNet结构，用作提取语义信息。C1代表了ResNet的前几个卷积与池化层，而C2至C5分别为不同的ResNet卷积组，这些卷积组包含了多个Bottleneck结构，组内的特征图大小相同，组间大小递减。（2）自上而下：首先对C5进行1×1卷积降低通道数得到P5，然后依次进行上采样得到P4、P3和P2，目的是得到与C4、C3与C2长宽相同的特征，以方便下一步进行逐元素相加。这里采用2倍最邻近上采样，即直接对临近元素进行复制，而非线性插值。（3）横向连接（LateralConnection）：目的是为了将上采样后的高语义特征与浅层的定位细节特征进行融合。高语义特征经过上采样后，其长宽与对应的浅层特征相同，而通道数固定为256，因此需要对底层特征C2至C4进行1×1卷积使得其通道数变为256，然后两者进行逐元素相加得到P4、P3与P2。由于C1的特征图尺寸较大且语义信息不足，因此没有把C1放到横向连接中。2特征融合的方法（4）卷积融合：在得到相加后的特征后，利用3×3卷积对生成的P2至P4再进行融合，目的是消除上采样过程带来的重叠效应，以生成最终的特征