经典分类cnn模型系列其四resnet

1、常常VGG类性能的下降而Resnet网络作者则想到了常规计算机视觉领域常用的residual ion 的概念，并进一步将它应用在了有了基本的residual learning 的block。它通过使用多个有参层来学习输入输出当下Resnet已经代替VGG成为一般计算机视觉领域问题中的基础特征提取网络。当可有效生成多尺度特征表达的FPN网络也可通经典分模型系列其四manofmountain 关0.82018.08.1217:371878阅读13093评论 0喜欢 介Resnet分类网络了，它差不多是当前应用最为广泛的 特2015 年，作者中间有大名鼎鼎的三位人物He-KaimingRen-Sha

2、oqingSun-Jian。绝对是 VGG网络试着探寻了一下深度 络的深度究竟可以深几许以能持续地提高分类准确率。 的一般印象当中，深度学习愈是深（复杂，参数多）愈是有着更强的表达能力。凭着这一基本准则 分类网络自Alexnet7层发展到了 VGG1619层，后来更有了 net22层。可后来 发现深度反而会招致网络收敛变得更慢，test dataset 的分类准确率也变得更差。排除数 Identity上小节中， 知道残差学习单元通过 IdentityIdentity上小节中， 知道残差学习单元通过 Identitymap 的引入在输入、输出之间建立了一条直接的关 道，从而使得强大的有参层集中精

3、力学习输入、输出之间的残差。一般 用F(XWi)来表示残差 ，那么输出即为：YF(XX。当输入、输出通道数相同时， 自然可以如此直接使用 X进行相加。而identitymap 函数从而可以使得处理后的输入X与输出Y的通道数目相同即YWiWs*X当X与Y通道数目不同时，作者尝试了两种identitymap 的方式。一种即简单地将X相对Y缺失的通道直接补零从而使其能够相对齐的方式，另一种则是通过使用 1x1 的conv 来表示Ws将Resnet 作为其发挥能力的基础网络从而得到一张深度残差学习（Deep Residual 网络如Alexnet/VGG 等会直接通过训练学习出参数函数H- H(X)。

4、-X即-(H(X)-X)+X。其中X这一部分为直接的identity，H(X) - X 则为有参网络层要学习的输入输出间残差下图为残差学习这的基本表示BottleneckCIFAR10ResnetBottleneckCIFAR10Resnet bottleneck为了实际计算的考虑，作者提出了一种bottleneck 的结构块来代替常规的 张feature map 维度从而使得的3x3 conv 的filters 数目不受外界即上一层输入的影响，自然它的输出也不会影响到下一层module。 然后自下表中可以看到常规Resnet网络与其它网络如等在Imagenetvalidationdatase

5、t 网络（GG p r中最深的亦是最有效的一种网络结构），另外则是顺着 GG网络思维继续加深其层次而形成的一种VGG3434Resnet网络，它主要由上节中所介绍的残差单元来 。两种可能的选择。A)shortcut直接使用identitymap ， 的通道通同补零来对齐；B)使用 1x1 的 Conv 来表示WsGG问题。name:ResNet-50 layer name:data type:Data top: data top:name:ResNet-50 layer name:data type:Data top: data top:label include phase:transfor

6、m_param mirror: true crop_size: 224mean_file:data_param 代码实CIFAR10 Resnet 网络，其深度最多layerbottom:top: res2a_branch1 name:layerbottom:top: res2a_branch1 name:res2a_branch1 type: Convolution convolution_param num_output:kernel_size:pad:stride: 1 bias_term:false weight_filler type:Resnet 网络的一个residual blo

7、ck 表示。注意它这里的identity 中包含了一个1x1conv表示的Ws而网络中其它的若干模块则可能直接使用的identity mapsource: exbatch_size: 50backend:LMDB prefetch: 2bias_fillertype:value:bottom:top:name:type:bias_fillertype:value:bottom:top:name:type:batch_norm_parambottom:top:name:type:scale_parambias_term:bottom:top:name:type:convolution_param

8、num_output:kernel_size:bias_term:bottom:top:name:type:convolution_paramnum_output:kernel_size:pad:stride:bias_term:weight_fillertype:bias_fillertype:value:bottom:top:name:type:batch_norm_parambottom:top:bottom:top:name:type:batch_norm_parambottom:top:name:type:scale_parambias_term:bottom:top:name:ty

9、pe:relu_parambottom:top:name:bottom:top:name:type:relu_parambottom:top:name:type:convolution_paramnum_output:kernel_size:pad:stride:bias_term:weight_fillertype:bias_fillertype:value:bottom:top:name:type:batch_norm_paramtype:value:bottom:top:name:type:batch_norm_parambottom:top:name:type:scale_paramb

10、ias_term:layerbottom:top:name:type:relu_parambottom:layerbottom:top:name:type:relu_parambottom:top:name:type:convolution_paramnum_output:kernel_size:pad:stride:bias_term:weight_fillertype:bias_fillertype:value:bottom:top:weight_fillertype:bias_fillertype:value:bottom:top:name:type:batch_norm_parambo

11、ttom:top:name:type:scale_parambias_term:layerbottom:bottom:top:name:type:scale_parambias_term:layerbottom:bottom:top:name:type:eltwise_paramlayerbottom:top:name:Resnet 网络的最后若干Resnet 网络的最后若干层。与其它VGG/Alexnet 或net layerbottom:res5c top: pool5 name: pool5 type:Pooling pooling_paramkernel_size:stride:1 p

12、ool:layerbottom:pool5 top: fc1000type:ReLU relu_param name:type:inner_product_paramnum_output:weight_fillertype:bias_fillertype:value:name:type:inner_product_paramnum_output:weight_fillertype:bias_fillertype:value:bottom:bottom:top:name:type:includephase:name:type:bottom:top:includephase:name:accuracy/top-name:type:bottom:top:includephase:name:accuracy/top-type:bottom:bottom:top:accur