【《经典分类卷积神经网络概述》1100字】

经典分类卷积神经网络概述ResNet2015年，KaimingHe提出了ResNet，拿到了2016年CVPR最佳论文奖，它最主要的贡献是解决了神经网络中的训练中的退化问题。即在神经网络的训练过程中，人们发现，深层网络与浅层神经网络相比，当它达到一定深度时，它的拟合能力不但没有提高反而变得更差了，也就是深层网络退化到连浅层网络的都不如了。ResNet还在同年的ILSVRC和COCO竞赛中拿下多个计算机视觉任务比赛的冠军，其中包括定位、检测、分割、分类等。ResNet所提出的残差结构大幅提高了神经网络的拟合能力。简单来说，Kaiming在文中提出了残差结构，如图2.1所示。使得原本所要拟合的函数H(x)，改为F(x)，其中，H(x)=F(x)+x。虽然在“多个非线性层可以拟合任意函数”这一假设下二者并无区别，但是Kaiming假设模型学习后者，将更容易进行优化与收敛。在残差结构中，模型利用Shortcut进行IdentityMapping，这样也解决了梯度消失现象。由于ResidualBlock并不需要额外的参数以及计算量，Kaiming在文中以此做了多组对照实验，证明该网络结构的有效性，所用的两个ResNet为ResNet-18和ResNet-34。但是，若要将模型的深度继续不断增加，需要对其进行改进：将原先的ResidualBlock，上图2.1所示，也被称作BasicBlock改进为BottleneckBlock，减少模型的参数与计算量。图2.SEQ图2.\*ARABIC1Resnet中的Block结构Fig2.1TheblockofResnetMobileNetV12017年左右，神经网络模型轻量化已经逐渐引起人们的关注，常见的手段分为两种：设计轻量化网络模型以及对已经训练好的复杂网络进行压缩（比如：降低精度、剪枝等等）。此时，Google提出了一个轻量化模型：MobileNetADDINNE.Ref.{CC2F10FC-3874-4D55-957A-61ED8B5829C0}[21]，成为后续人们常使用的BaselineModel。在MobileNet中，作者利用DepthwiseSeparableConvolution设计了一个轻量化网络，并通过设置WidthMultiplier和ResolutionMultiplier这两个超参数方便用户根据需求任意更改网络宽度与输入分辨率大小，从而使得人们可以根据任务需要与实际场景对模型进行latency和accuracy的权衡。表2.SEQ表2.\*ARABIC1MobilenetV1网络结构Table2.1NetworkofMobileNnetV1Type/StrideFilterShapeInputSizeConv/s23x3x3x32224x224x3Convdw/s13x3x32dw112x112x32Conv/s11x1x32x64112x112x32Convdw/s23x3x64dw112x112x64Conv/s11x1x64x12856x56x64Convdw/s13x3x128dw56x56x128Conv/s11x1x128x12856x56x128Convdw/s23x3x128dw56x56x128Conv/s11x1x128x25628x28x128Convdw/s13x3x256dw28x28x256Conv/s11x1x256x25628x28x256Convdw/s23x3x256dw28x28x256Conv/s11x1x256x51214x14x2565xConvdw/s1Conv/s13x3x512dw1x1x512x51214x14x51214x14x512Convdw/s23x3x512dw14x14x512Conv/s11x1x512x10247x7x512Convdw/s23x3x1024dw7x7x1024Conv/s11x1x1024x10247x7x1024AvgPool/s1Pool7x77x7x1024FC/si1024x10001x1x1024Softmax/s1Classifier1x1x1000MobileNetV22018年，Google在MobileNet基础上提出了新的模型MobileNetV2ADDINNE.Ref.{40F0DCA9-1C47-4C1B-82CF-2F7F0FCEB54C}[58]。其中，提出了新的结构InvertedResidualsandLinearBottlenecks，并利用MobileNetV2实现分类/目标检测/语义分割多目标任务。表2.SEQ表2.\*ARABIC2MobilenetV2网络结构Table2.2NetworkofMobilenetV2InputOperatortcns2242x3conv2d-32121122x32bottleneck116111122x16bottleneck62422562x24bottleneck63232282x32bottleneck66442142x64bottlen