cha2-3-卷积神经网络

卷积神经网络认识卷积网络01任务了解网络结构02任务卷积网络的发展历史03任务学习目标掌握卷积网络的基础结构了解卷积网络的常见方法1认识卷积神经网络1认识卷积神经网络神经网络传统的三层神经网络由输入层，隐藏层，输出层构成，其中隐藏层的层数根据使用时的具体需求而定，带有大量的参数。但是作为图像来说，其本身具有“二维空间特征”，通俗点说就是局部特性。譬如看一张猫的图片，可能看到猫的眼镜或者嘴巴就知道这是猫的图片，而不需要说看完了每个部分才知道图片的内容。如果可以用某种方式对一张图片的某个典型特征识别，那么就可以知道这张图片的类别。因此，还需要一个更高效的特征学习部分。1认识卷积神经网络卷积神经网络卷积神经网络（convolutionalneuralnetwork，CNN）是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。2网络结构2网络结构1.卷积层由于输入图像通常很维数很高，例如，1000×1000大小的彩色图像对应于三百万维特征，因此，继续沿用多层感知机中的全连接层会导致庞大的参数量。大参数量需要繁重的计算，而更重要的是大参数量会有更高的过拟合风险。卷积是局部连接、共享参数版的全连接层，这两个特性使参数量大大降低。局部连接：在全连接层中，每个输出通过权值(weight)和所有输入相连。在卷积层中，每个输出神经元在通道方向保持全连接，而在空间方向上只和小部分输入神经元相连。共享参数：卷积层不同空间位置的神经元共享权值，用于发现图像中不同空间位置的模式。共享参数是深度学习一个重要的思想，其在减少网络参数的同时仍然能保持很高的网络容量(capacity)。2网络结构卷积层中的权值通常被称为滤波器(filter)或卷积核(convolutionkernel)。卷积层由若干个卷积核构成，每层卷积层通过卷积核在图像上平移进行卷积运算来提取特征。卷积运算的目的是提取输入的不同特征，不同的卷积层提取的特征不同，浅层的卷积层只能提取一些低级的特征如边缘，线条等，深层的网络能从低级特征中迭代提取更复杂的特征。通过多层卷积层堆叠，各层提取到特征逐渐由边缘、纹理、方向等低层级特征过渡到文字、车轮、人脸等高层级特征。2网络结构2.池化层根据特征图上的局部统计信息进行下采样，在保留有用信息的同时减少特征图的大小。和卷积层不同的是，池化层不包含需要学习的参数。最大池化(max-pooling)在一个局部区域选最大值作为输出，而平均池化(averagepooling)计算一个局部区域的均值作为输出。局部区域池化中最大池化使用更多，而全局平均池化(globalaveragepooling)是更常用的全局池化方法。池化的核通常采用2×2的大小，平均池化就是计算2×2范围内的平均值，最大池化就是取该范围内的最大值。目前比较常用的是最大池化。在经过池化后，原图像的channel是不发生改变的。2网络结构池化层的作用：增加特征平移不变性。减小特征图大小。最大池化可以带来非线性。2网络结构3.激活层激活层的作用在于将前一层的线性输出，通过非线性的激活函数进行处理，这样用以模拟任意函数，从而增强网络的表征能力。激活层常用的函数包括sigmoid和ReLu（Rectified-LinearUnit，修正线性单元）等。激活函数是一些非线性的函数，这些函数的特性有所不同：1.sigmoid函数可以将数值压缩到[0,1]的区间。2.tanh可以将数值压缩到[-1,1]的区间。3.ReLu函数实现一个取正的效果，所有负数的信息都抛弃。4.LeakyReLu是一种相对折中的ReLu，认为当数值为负的时候可能也存在一定有用的信息，那么就乘以一个系数0.1（可以调整或自动学习），从而获取负数中的一部分信息。5.Maxout使用两套参数，取其中值大的一套作为输出。6.ELU类似于LeakyReLu，只是使用的公式不同。2网络结构以Tensorflow为例学习如何搭建这些层的方法：卷积层：tf.nn.conv2d(input,filter,strides,padding)激活层：tf.nn.relu()池化层：tf.nn.max_pool()（最大池化）3卷积网络的发展历史3卷积网络的发展历史下面将按照时间顺序进行讲解几种具有代表性的卷积神经网络（LeNet、AlexNet、VGG和ResNet），这些卷积神经网络在当时都针对图像分类任务取得了很好的效果。1.LeNetLeNet是CNN结构的开山鼻祖，第一次定义了卷积神经网络的结构。3卷积网络的发展历史LeNet的特点如下所示：（1）定义了卷积神经网络（ConvolutionalNeuralNetwork,CNN）的基本框架：卷积层+池化层（PoolingLayer）+全连接层；（2）定义了卷积层（ConvolutionLayer），与全连接层相比，卷积层的不同之处有两点：局部连接（引进“感受野”这一概念）、权值共享（减少参数数量），卷积计算公式：（3）利用池化层进行下采样（Downsampooling），从而减少计算量，池化计算公式：（4）用tanh作为非线性激活函数（现在看到的都是改进过的LeNet了，用ReLu代替

tanh。相较于sigmoid，tanh以原点对称（zero-centered），收敛速度会快。3卷积网络的发展历史2.AlexNet2012年，Krizhevsky与Hinton推出了AlexNet，引起了许多学者对深度学习的研究，可以算是深度学习的热潮的起始标志。AlexNet的特点如下所示：（1）采用双GPU网络结构，从而可以设计出更“大”、更“深”的网络（相较于当时的算力来说）；3卷积网络的发展历史（2）采用ReLu代替tanh，稍微解决梯度消失问题（GradientVanishingProblem），加快网络收敛速度；（3）提出局部相应归一化（LRN,LocalResponseNormalization）；（4）令pooling操作中的stride小于池化核的大小，从而使相邻的池化区域存在重叠部分，这一操作称为OverlappingPooling；（5）对训练数据进行随机裁剪（RandomCrop），将训练图像由256×256裁剪为224×224，并做随机的镜像翻转（HorizontalReflection）。并在测试时，从图像的四个角以及中心进行裁剪，并进行镜像翻转，这样可以得到10个Patch，将这些Patch的结果进行平均，从而得到最终预测结果；（6）对训练图像做PCA（主成分分析），利用服从(0,0.1)的高斯分布的随机变量对主成分进行扰动。这一操作能减少指标Top-1的1%错误率；（7）利用dropout避免网络过拟合。3卷积网络的发展历史3.VGG2014年，Simonyan和Zisserman提出了VGG系列模型（包括VGG-11/VGG-13/VGG-16/VGG-19），并在当年的ImageNetChallenge上作为分类任务第二名、定位（Localization）任务第一名的基础网络出现。VGG与当时其他卷积神经网络不同，不采用感受野大的卷积核（如：7×7，5×5），反而采用感受野小的卷积核（3×3）。关于这样做的好处有如下两点：减少网络参数量；由于参数量被大幅减小，于是可以用多个感受野小的卷积层替换掉之前一个感受野大的卷积层，从而增加网络的非线性表达能力。3卷积网络的发展历史4.ResNet2015年，KaimingHe提出了ResNet（拿到了2016年CVPRBestPaperAward），不仅解决了神经网络中的退化问题还在同年的ILSVRC和COCO竞赛横扫竞争对手，分别拿下分类、定位、检测、分割任务的第一名。Kaiming在文中提出了残差结构（ResidualBlo