《模式识别原理、应用及实现》 课件 9.5 卷积神经网络-实验

模式识别1/justinruan/Learning-ML学以致用，知行合一（实践篇）残差网络随着网络的加深，出现了训练集准确率下降的现象，可以确定这不是由于Overfit过拟合造成的残差网络（ResidualNetwork，ResNet）通过给非线性的卷积层增加直连边（ShortcutConnection）的方式来提高信息的传播效率，缓解了在深度神经网络中增加深度带来的梯度消失问题。ResNet由微软研究院的何恺明（KaimingHe）等四名华人提出，通过使用ResNetUnit成功训练出了152层的神经网络在ILSVRC2015比赛中取得冠军，取得了5项第一，刷新历史2ResNet残差函数

3残差单元

4残差单元(块)残差路径shortcut恒等映射残差单元残差路径可以大致分成2种一种有bottleneck结构，即下图右中的1×1卷积层，用于先降维再升维，主要出于降低计算复杂度的现实考虑，称之为“bottleneckblock”，另一种没有bottleneck结构，如下图左所示，称之为“basicblock”5ResidualBlock残差单元shortcut路径大致也可以分成2种，取决于残差路径是否改变了featuremap数量和尺寸，一种是将输入x原封不动地输出，另一种则需要经过1×1卷积来升维or/and降采样，主要作用是将输出与F(x)路径的输出保持shape一致，对网络性能的提升并不明显6ResidualBlock/p/352790748ResNet为多个ResidualBlock的串联，下面直观看一下ResNet-34与34-layerplainnet和VGG的对比7VGG19ResNet34plain34ResNet为多个ResidualBlock的串联，下面直观看一下ResNet-34与34-layerplainnet和VGG的对比8ResNet为多个ResidualBlock的串联，下面直观看一下ResNet-34与34-layerplainnet和VGG的对比9残差网络ResNet的设计有如下特点：与plainnet相比，ResNet多了很多“旁路”，即shortcut路径，其首尾圈出的卷积层构成一个残差单元（ResidualBlock）；ResNet中，所有的残差单元都没有池化层pooling，降采样是通过conv的stride实现的；分别在conv3_1、conv4_1和conv5_1ResidualBlock，降采样1倍，同时特征图（featuremap）数量增加1倍，如图中虚线划定的block；通过AveragePooling得到最终的特征，而不是通过全连接层；每个卷积层之后都紧接着BatchNormlayer，为了简化，图中并没有标出；ResNet结构非常容易修改和扩展，通过调整block内的channel数量以及堆叠的block数量，就可以很容易地调整网络的宽度和深度，来得到不同表达能力的网络，而不用过多地担心网络的“退化”问题，只要训练数据足够，逐步加深网络，就可以获得更好的性能表现。10ResNet10与Cifar10加载Cifar10数据集：CIFAR-10由6000032x32彩色图像，包含10个类别，

每类6000张图像。训练集50000张，测试集10000张。

11ResNet10与Cifar10构造ResNet1012可选：BasicBlock、Bottleneck13BasicBlockBasicBlockBasicBlockBasicBlockResNet1014x2x3ResNet18BasicBlock与Bottleneck15BasicBlockBottleneckResnet架构模型核心结构层数设定卷积层数resnet18BasicBlock[2,2,2,2]1+[2+2+2+2]x2+1=18resnet34BasicBlock[3,4,6,3]1+[3+4+6+3]x2+1=34resnet50Bottleneck[3,4,6,3]1+[3+4+6+3]x3+1=50resnet101Bottleneck[3,4,23,3]1+[3+4+23+3]x3+1=101resnet152Bottleneck[3,8,36,3]1+[3+8+36+3]x3+1=15216训练代码：17#网络推理#计算分类#计算Loss#计算本轮Loss#计算准确率Re