【《卷积神经网络的基本原理分析》5600字】

卷积神经网络的基本原理分析目录TOC\o"1-3"\h\u15463卷积神经网络的基本原理分析 1254651.1卷积神经网络的网络结构 1258241.1.1卷积层 1158171.1.2池化层 363721.1.3全连接层 478051.2卷积神经网络的训练过程 5121961.1.1反向传播算法 687761.1.2梯度下降法 6297611.3LeNet-5网络结构及其修剪之后的结构 7276731.3.1LeNet-5的基本网络结构 7145831.3.2基于LeNet-5的压缩卷积神经网络 91.1卷积神经网络的网络结构CNN网络不需要对它的输入图像事先进行特别复杂的预处理，因为它是一种有监督的前馈神经网络，它可以对输入的数据进行的特征提取，同时得到图片的抽象特征，并将其进行分类标签。网络主要的主体部分一般是交替的卷积层和池化层，网络结构的尾部是全连接层和输出层，输出完整的结果之后构成完整的卷积神经网络。如图1.1所示结构，是经典卷积网络结构LeNet-5，并且已经在当年成功的应用于美国的银行系统中。图1.1LetNet-5的网络结构1.1.1卷积层卷积层的作用是提取图像的深层次特征，卷积的过程实际上是利用卷积核对图像进行特征提取，卷积运算如公式（2-1）所示gx,y公式中的g(x,y)分别代表第x行和第y列的卷积输出结果，fx,y分别代表输入段第x行和第y卷积层的主要操就是卷积的过程，如图1.2所示，输入的图像尺寸为5×5，卷积核的尺寸为3×3。卷积的过程以结果a为例，卷积核是通过滑窗的形式，以步长为1的距离，按照顺序，一一滑过输入的图片，对图像进行扫描，并将卷积核中的数值和输入图像的数值分别进行矩阵运算。由公式（2-2）a=1.1×w1+1.2×w2+1.3×w3+1.4×w4+1.5×w5+1.6×w6+1.7×w7+1.8×w8+1.9×w9(2-2)卷积核中的数值通过顺序以步长为1的方式，对输入图片中的值进行乘累加计算，直到输入的图片数值全被卷积核扫描完之后，得到最后的输出结果3×3。结果如图1.2。图1.2卷积示意图 值得一提的是输出的尺寸公式为（2-3）所示O=M−K其中O为输出的尺寸O×O，输入的图片尺寸为（M×M），K代表卷积核的尺寸（K×K），P（pading）是为了让卷积后的结果和卷积前输入图像的图像尺寸保持一致，在外围补0的层数，S在计算过程中卷积核通过滑窗的方式，在输入图像上扫描的过程，是源于卷积神经网络中拥有局部连接和参数共享这两个特性。局部连接的特性是源于生物学视觉系统的的视觉神经元，视觉皮层中神经元对受到的信息会有所响应。在神经网络中通过局部连接可以提起网络中的特征信息，而且还可以利用像素间的位置信息。参数共享是指，在卷积核对输入的图像进行滑窗扫描的整个过程中，使用的卷积核中的数值是一样的，使得输入的图像信息中的所有的数值都是“共享”这一个参数，通过对参数进行共享，减少了卷积神经网络中参数的数量，可以加大提取特征的效率。通过使用这两个特性，在对输入的图像进行特征提取的时候，可以极大的减少图像中参数的数量，加大提取的效率，提高整个网络框架的性能。1.1.2池化层 池化层（pooling）也可以被称为采样层，它是将上一层的输出结果作为这一层的输入，对输入的特征映射值进行下采样的操作。下采样的的操作目的和作用主要是以下三个方面，第一是特征不变，即图片经过下采样处理之后，图片的特征不变性，比如输入是一张猫的图片，经过下采样缩小了一倍之后，依然可以辨认出猫的特征，图片在缩小过程中仅仅是去除了一些不重要的其他信息，关于猫特征的关键特征信息留下来；第二是特征的降维，在原本的输入图像之中，含有的特征和其他的冗余信息是十分多的，但是这些信息中，有些信息对于图像的处理和识别方面并不是非常重要，所有要将这些不重要的信息给去除掉，把最重要的特征信息给留下来，进行下采样操作来达到降低特征维度这一目的；第三是要防止过拟合，优化网络的结构。 池化层的操作主要是利用一个n×n的矩阵窗口，在输入的特征值上进行步长为n的滑动，目前采用的池化方法分为最大池化法和平均池化法，最后可以经过池化操作可以得到一个尺寸为原来1/n的输入。最大池化的公式如（2-4）所示，平均池化的公式如（2-5）所示。xkjlmaxxkj公式中的xkil是第l层Vkj图像经过池化后的输出，xk1l−1是Vkj输入图像所包含的元素，Vkj是第图1.3平均池化图1.4最大池化1.1.3全连接层输入的图像经过卷积层和池化层之后，输入图像中具有代表性的特征已经被提取了出来，最后要把所有的特征映射的值平展开为一个一维的向量，并且把这个输入到全连接层中，全连接层的主要作用就是把这些输入的特征对第一步输入的图片进行分类。全连接层的结构和传统的深度神经网络的全连接层结构相同，最后一层是分类层。输出层的结构本质上和全连接层的结构相同，只是激活函数有所不同，采用的是分类函数进行分类。在没有激活函数的网络，网络很难模拟现实环境中的非线性的数据，当添加了激活函数之后，非线性的部分就被添加进去了。本文主要介绍以下的三种激活函数，如图1.5所示。图1.5三种激活函数图（1）Sigmoid函数。其计算公式为（2-6）所示它的输出值在（0，1）之间，但是只有当x在0附近时，函数变化会非常大。fx（2）Tanh函数。其计算公式为（2-7）所示，它是由上一个函数先平移再缩放得到的，由图可以看出它的收敛速度要高于上一个函数，但是当x很大或者很小的时候，它的导数也无限的逼近0。fx（3）Relu函数。其计算公式为（2-8）所示，当x为0的时候，不可导，但是可以用过其他的途径在实验中解决这个问题。Relu函数和上面这两个公式相比较为简单，当输入值为负数的时候，函数值直接为0。也正是因为这一特性，使得神经网络使用Relu函数时，计算变得简单。fx由于Sigmoid函数和Tanh函数属于饱和函数，在x取特别大的值或者特别小的值的时候效果不好，而Relu函数属于非饱和函数，所以在网络中使用Relu函数作为激活函数。卷积神经网络的输入层一般要参与分类的情况，所以对于分类函数一般会使用Softmax函数作为分类函数，它会把最后一层的输出zL进行归一化处理，同时让众多的输出值加起来和为1，完成分类的目的，Softmax函数为（2-9）所示，zaiLzi在上式中，L是输出的层数，nL是输入层中的输出神经元的个数，有n个分类，aiL是分类中的第i个分类的输出，ziL是第i1.2卷积神经网络的训练过程卷积神经网络的训练目前使用最多的方法是反向传播算法(BackPropogation,BP)和梯度下降算法(GradientDescent)。对于一个具体的网络，先要选取一个数量合适的数据集，使用数据集中的数据作为训练的样本，再将样本输入到网络模型中进行训练，通过计算输出计算的结果，再将输出的误差通过反向传播的过程传给各个隐含层，更新权值，经过反复的重复训练，得到逐渐优化的网络模型。1.1.1反向传播算法反向传播BP算法是在1985年之后被人提出的，主要分为两个过程，一是信息的正向传播，二是误差的反向传播。输入层中的外界信息通过神经元输入；中间层负责内部的信息处理和不同信息之间的交换等重用，根据信息的复杂程度和信息的大小，中间层可以设计为单或者多隐层结构。以卷积神经网络为例，中间层就含有多个卷积池化层交替进行组成。最后一个隐层的作用是将神经元中的信息传递给输出层，通过最后的处理之后，完成了一次正向传播过程，输出层此时就可以将输出的结果输出给外界。如果当最后的输出的结果和实际我们所期望的输出结果不一致的时候，就会进入误差的反向传播过程中。这时输出层会通过梯度下降的方法来修改各个层之间的权值，使各层权值不断调整，此过程一直持续的进行，直到网络输出的误差减小到期望值或者达到之前规定的迭代次数后停止[45]。1.1.2梯度下降法在网络实际的训练应用的过程之中，网络的权值和偏置是要经过一定程度的训练之后才确定的值。在训练的过程之中，先确定训练的样本，在此作为数据集的基础上学习特征，权值和偏置就是通过学习可以得来参数，输出和输入都是关于权值和偏置的变量，输出的结果和真实值之间的误差也和学习得到的权值和偏置之间有着一定的函数关系，输出和真实值之间的差距被定义为损失值Loss。如图1.6所示，梯度下降法是指从某一点出发，向从这点下降最快的方向移动达到快速下降的目的，如果没有达到Loss的最低点，则再重复以上的操作直至达到Loss的最低点。在梯度下降法中有几个最基本的参数，第一个是每次下降过程中移动步长值1，由于在每次下降走步长值都不是相同的，使用可以使用一个系数a和对权值的梯度表示步长值，利用N表示下降的次数，由于不一定能下降到最低点，所以需要一定的迭代次数N来决定下降的次数。阈值ε表示可以接受的误差，当损失值达到了这个范围内的时候，就认为达到了最低点，停止梯度下降的操作，再将最后一层的损失值通过反向传递到之前的各层，更新其中的权值和偏置。图1.6梯度下降过程梯度下降的具体算法如下：（1）先定义样本的数目为m。初始的步长值为a，下降的次数为N，可以接受的损失值为ε。（2）对每个样本先进行计算，算出具体的损失值为Loss，如果loss<ε的话，则结束下降。（3）计算网络的权值梯度和偏置梯度，l代表网络的层数，i代表样本的编号。（4）更新每一层的权值和偏置，如公（2-11）、（2-12）所示。wlbl=（5）如果达到次数N在，则停止下降。1.3LeNet-5网络结构及其修剪之后的结构1.3.1LeNet-5的基本网络结构为了在FPGA上能够完整实现卷积神经网络，本文选择了结构完整但是体积较小的LeNet-5这个网络结构作为研究对象，主要的结构对象如图1.7所示。该结构较为简单，但是这是最具有代表的网络结构，在早期应用于手写和机器打印的字符识别，十分的适合在资源受限的FPGA上进行实现，图中一共包括七层网络结构，首先输入图片尺寸为32×32（原始的输入图像为28×28，通过在图像周围补0变为32×32），之后依次经过以上七层的输出结果为10个不同数字的概率值。特别的是其中的C3通道，和之前的介绍卷积操作有所不同，C3的输入通道有6个但是输出的通道数却有16个，C3采用的方法是将16个输出的通道对应的卷积核和S2池化层的多个通道进行卷积再叠加为1个通道，具体的操作如图1.8所示。它将S2的六个通道都分别编号，之后将C3的输出的通道再依次编号，以输出的通道0为例，卷积核与S2的前三个通道进行卷积操作，卷积核的尺寸为5∗5，最后再作为为单通道的输出。使用这种非对称的方式来进行卷积操作的目的有两个，一是可以减少参数的大小，可以减少25%的量。二是可以提取到更深层次的特征。但是由于完整的LeNet-5的网络在卷积运算之中，会耗费过多的查找表资源，所以，本次实验准备对原本的LeNet-5的网路模型进行一部分的修剪，保证准确率的同时，减少参数的量，从而提高系统的效率。图1.7LeNet-5模型图1.8C3卷积层卷积具体操作1.3.2基于LeNet-5的压缩卷积神经网络为了提高卷积网络的运算速度，主流的方法通常有两种，一种是可以通过简化网络结构，通过减少设计的结构，减少参数等手段来提高效率。但是使用这种方法之后，要重新对修剪后的网络灾异齿进行训练；第二种方法是要压缩现有的参数，在已经训练好的网络上对网络的参数进行过滤，将对输出影响较大的参数留下来，再去掉对输出影响较小的参数，减少参数的产生，主要使用的方法有网络剪枝，参数量化等方法。根据本次实验的特点和所使用的硬件平台，在网络剪枝的基础上，通过采用压缩网络的结构和参数量化这两种方式来对算法进行加速。通过这两种方法，既可以解决开发板无法存储原始的参数整个问题，有提高了整体的运算速度。下面将着重介绍使用的压缩方法，以及压缩之后最后使用的网络结构。网络剪枝的过程实际上是一共找到神经元之间多余的链接，并把多余的部分进行删减的过程，它主要针对的是卷积神经网络结构中，靠近输出层的部分，这是因为卷积层较全连接层来说更加的敏感，而靠近输入层的卷积层较靠近输出层的全连接层又会更加的敏感。修剪的过程主要是在网络训练之后，找到对输出影响较大的参数，一个参数就对应着网络的一个链接，权重比较大的链接对于网络的影响就更大，而剩下来权重较小的链接就属于要被修剪的对象。以LeNet-5为例，在C5卷积核和F6全连接层之中的参数占整个网络的95%，所以要精简这部分的参数就可以减少参数的总量。这次实验中参考的是2017年旷世科技提出的通道剪枝法（ChannelPruning）这个方法的核心是要将不重要的通道直接删减掉来提高运算的速度。但是如果删减掉了通道数，会对下游的各层照成一定程度的影响，比如C5层中卷积核的尺寸为16∗120∗1∗1，如果删减掉了60个输出通道数的化，F6的输入也变为了60，和网络的结构相异，所以要对整个网络的模型进行重新训练。这次实验将对