【《残差网络概述》2300字】

残差网络概述目录TOC\o"1-3"\h\u8856残差网络概述 1212841.1提出ResNet残差网络原因 1106511.2残差块 112981.3瓶颈(BottleNeck)模块 3206171.4ResNet的结构 395341.5ResNet的进一步改进 41.1提出ResNet残差网络原因深度学习网络探索过一个问题，网络的深度是不是越深得到的分类效果的准确率越好。以VGG网络为举例[12]，其深度到何种程度可以继续提高分类的准确率，以普遍的经验来讲，网络的层数越深，其网络结构就会越复杂，学习到的特征信息就会越多。但是网络层次数的无限制增加同样也可能会给我们带来其他的问题，首先我们可能会过多地消耗大量的计算时间和资源，训练后得出的模型还是容易经过拟合，甚至可能还会有梯度消失/梯度爆炸等问题出现。因为从经典的CNN五层网络LetNet-5发展到后面网络层数更高的GoogleNet，网络层数越多可以提取更复杂的数据特征，分类的准确率就会越高，但是当CNN网络增加到更深的网络层次之后，其分类效果和较浅的CNN网络相比反而就会越差，会出现网络退化的情况。网络退化的表现就是loss值在前期的时候会下降，但是随着网络层数的不断增加，网络的训练性能就会趋于饱和，然后就会出现训练集loss值不降反增的情况。为了解决网络退化情况的出现，就提出了一个恒等映射的方法，如果浅层网络训练的效果优于更深层次网络的效果，那么把浅层网络的特征直接传给更高的网络层次，效果也不会比浅层次的网络效果差。因此后来就提出一个ResNet残差网络结构。从信息论的理论来讲，随着网络层数的不断增加，网络层数越深，特征图所含的图像信息就会越少，如果有一个直接映射的加入，就保证了后面一层比前一层包含更多的图像信息。基于这种使用直接映射的方法来连接不同层次网络的思想，残差网络就应用而生了。1.2残差块深度学习网络都是由一些基本的单元所组成的。残差网络也不例外，它同样是由一系列残差快组成，残差块的基本网络结构如图2.2所示。也可以由公式2-1表示。 xl+1这里所讲的残差网络由残差部分和直接映射两部分所组成，图2.2左侧箭头部分表示直接映射，F(xl,Wl图2.2残差块如果在卷积网络中上一层网络xl和下一层网络xl+1在图像特征维度上不一样往往会采用增维/降维的方式来保持一致，升维或降维的操作就会用到1×1的卷积进行操作，还有一种就是通过补0的方式将维度保持一致。如图2.3所示，其表达式为2-2表示。 xl+11×1的卷积一般在升维/降维的过程中才被使用，因为在平时的实验中1×1的卷积对模型性能提升是有一定限度的，并不能对模型性能起太大作用。其中h(xl)=W图2.31×1残差块一个由堆积层堆积出来的网络结构，由于残差网络结构的学习比原始特征更容易，当输入该结构的值为x，将其训练学习到的特征值设置为H(x)，则它可以学习到的残差Fx=Hx残差网络和传统的CNN网络结构上存在一定的差异，传统的CNN网络就是一层层基本单元的堆叠，而每层基本单元又是在做仿射变换和非线性变换，在该网络结构中仿射变换做的最主要的操作就是矩阵的相乘。所以整体来讲，整个网络就是在乘法运算中堆叠起来的。但是在残差网络结构中，由于恒等映射的出现，将原先堆叠的乘法运算网络直接转换成了相加的形式，从前向传播计算的角度来看，这样的改变可以使得计算变得更加稳定。不管对哪一层网络来讲，比当前网络层数更高层的网络梯度成分∂loss∂1.3瓶颈(BottleNeck)模块由于这种残差对于网络层的深度影响可以很大，甚至最高层也能够达到1000层，如此复杂的网络结构，其所需要的参数量也是十分巨大的,因此运算量也是个严峻的问题。为了解决这一问题，跟随着残差网络产生了瓶颈，使用了残差网络作为解决方案。其设计的思维十分巧妙，先对其进行下采样，然后经过卷积操作再对其进行上采样以降低运算量。如下图2.4所示，图的左边代表的是基本的残差快，图的右边代表的是瓶颈残差块。瓶颈残差块通过巧妙的改变特征图的维度使得输出不影像下一层网络，但是着实缩小了网络训练的时间，对模型的训练精度也没用影响。图2.4两种残差块1.4ResNet的结构ResNet网络是在VGG19网络的基础上改进过来的，与其不同的是加入了具有短路机制的残差模块[13]。在网络结构上也有一些不同，ResNet使用globalaveragepool代替原来网络中的全连接层，而且使用卷积进行下采样的操作。ResNet的设计思想是，用featuremap数量替换featuremap的大小，当其大小减少一半的时候，数量就会增加一倍，虽说改变了featuremap大小，但是没有改变网络的复杂性。从下图中可以看到，ResNet相比普通网络每两层间增加了短路机制，这就形成了残差学习，其中虚线表示featuremap数量发生了改变。表2.1不同深度的ResNet1.5ResNet的进一步改进激活函数的位置不同可以改变模型的精度，所以合理安排激活函数的位置可以最大化提高模型的精度。普通的残差网络一般都是在进行卷积操作之后进行归一化的操作，将ReLU激活函数放在直接映射单位之后。当2015年的ILSVRC比赛获得第一之后，何恺明对残差网络的结构做出了改进，把ReLU激活函数放在了卷