【《卷积神经网络技术理论基础概述》4000字】

卷积神经网络技术理论基础概述1.1卷积神经网络概述卷积神经网络（ConvolutionalNeuralNetworks，CNN）是一类包含卷积计算并且有多层次网络的深度神经网络，是深度学习的代表算法之一[39-40]，随着当代深度学习理论的提出和计算机性能的提高，在拥有理论和实际条件的基础上，很多研究人员参与学习和实践，这使得卷积神经网络有快速的发展。CNN最大的优点是不用手动提取特征，可自动提取目标特征，得到样本特征，手动提取特征效率低下、分类准确率低的不足，因此卷积神经网络有广泛的应用方向，比如：图像分类、目标识别等领域[41]，成就十分伟大。和传统的图像分类方法比较发现，基于深度学习的图像分类方法有关键优势，那就是深度学习的图像分类方法是可以通过构建网络层数从而实现自动学习具有抽象层次的图片特征，传统的图像分类方法需要人为设计具体的特征，设计很繁琐，而且图像分类的效果也不太好，图像分类的速度很慢。深度学习按模型分类可分为生成、判别和混合模型。深度信念网络、自编码器和深度玻尔兹曼机等属于生成模型。深度前馈网络、卷积神经网络等属于判别模型，混合模型则是生成模型和判别模型的混合。1.2卷积神经网络的结构图3-1神经网络结构首先介绍神经网络的结构，如图3-1所示，可以看出，多个神经元依次连接才构成了神经网络，而且神经网络具有层次结构。最基本的神经网络有三层层次结构：输入层、隐藏层和输出层。深度神经网络其实就是隐藏层大于等于两层，再加上输入层和输出层。从图3-1可以清晰看到，神经元被分成了三层，每两层之间都有神经元连接，而每一层内的神经元之间则无连接，每个连接都有不同的连接权重。卷积神经网络的学习和训练就是用BP（反向传播）算法和梯度下降算法使损失函数最小化，然后调整神经元连接权重和神经元偏置。神经网络的前向传播计算式可表示如下：Ziyi其中，yjl是第l层第j个神经元的输出，WjiJ(W,b)=（L（x,y))=其中，yi是第i个神经元的真实值，yJ(W,b)=−1全连接神经网络出现在卷积神经网络之前，根据其全连接的结构形式分析，处理图像分类问题时，要提前训练很多参数，而且训练过程容易出现梯度弥散问题，这使得多层训练难以顺利完成。与全连接神经网络不同的是，卷积神经网络能利用卷积层和池化层的多个连接结构使训练的参数减少，提高反向传播训练速度和效率。卷积神经网络是需要监督的学习分类模型，它最大的特点是权值共享、局部连接和下采样等，挖掘图片局部特征能力强，无论是图像的平移、图像的缩放还是图像的旋转其稳健性都很高。输入需要分类的图片，通过对图片的多次卷积、多次池化和非线性激活函数映射等多种操作，输入的图片被逐层抽象为分类目标的特征表示出来。卷积神经网络基本结构如图3-2所示，共五大层：输入层、卷积层（下采样层）、池化层、全连接层和输出层，在图像分类任务中输出层就是分类器，常用的分类器有Softmax函数等。卷积层的结构其实是多个滤波器，能学习输入图像的某种特征，根据卷积核的大小提取出图片不同的特征，能学习边缘、曲线特征的是低层卷积层，能学习抽象特征的是高层卷积层，每层网络之间权值共享，这能降低模型的复杂度，也能减小过拟合程度，还能提高模型泛化性。卷积过程如图3-3所示。图3-2卷积神经网络结构图图3-3卷积核运算示意图连续多个卷积层后通常会连接一层池化层，作用是对图像特征降维，这能保持图像特征一定的三大不变性：平移不变性、尺度不变性和旋转不变性，池化方法主要有最大池化和平均池化。最大池化就是在图像上的滤波器大小的区域里，取出最大的像素点值，从而得到图像特征数据，该方法得到的图像特征数据一般能更好地保留纹理特征;平均池化也是在区域内，去掉为0的像素再取剩下像素的平均值，从而得到图像特征数据，该方法能更好地提取图像背景信息，值得关注的是，平均池化操作中选取的像素点是去掉0像素的，如果不把0像素点去掉，分母就会增加，那整体数据值就会变低。最大池化和平均池化过程如图3-4所示。图3-4两种池化操作示意图输入的图像在经过卷积层多次卷积和池化层多次池化操作之后，网络再连接几个全连接层，这样就能获得输入图像的全局语义信息，在图像分类任务中就是对获得的图像特征进行分类，计算出输入图像属于各类别的概率，最后的输出层连接分类器，将输入图像属于某一分类类别的概率给出。对于卷积神经网络，是在残差的反向传播基础上，训练网络中的参数来使损失函数最小化，图像分类任务最常用的损失函数是交叉熵函数，本试验就是采用交叉熵函数计算损失值。在训练卷积神经网络时会有很多问题出现，比如过梯度消失、过拟合和梯度爆炸，这些问题会严重影响损失值的收敛。针对以上问题，我们可以通过一些有效的方法来改善，其中包括：①随机失活（dropout）技术：网络稀疏性和随机性的增加可以有效减轻过拟合问题；②采用批量归一化（BN）技术进行网络训练，BN技术能使每次梯度下降后网络的权重因子都改变，这样才能使下一层网络拥有合适的数据分布；③利用已经预训练的网络模型对参数初始化可以加速网络学习速度和增强泛化能力。1.3采用的卷积神经网络模型本文采用残差网络ResNet和改进SiameseResNet作为本次图像分类试验的网络模型对手中数据集进行训练。残差网络在《DeepResidualLearningforImageRecognition》中有详细介绍，以下只介绍其中重点。图3-5残差结构图残差指的是实际观察值与估计值（拟合值）两种的差值。将输入叠加到下层的输出上。对于一个残差结构，当输入为x时其学习到的特征记为H(x)，然后我们让其学习残差F(x)=H(x)-x，这样的话那开始学习的特征则表示为F(x)+x。当残差为0时(即F（x）=0)，此时残差结构只是恒等映射，和浅层网络十分类似，此时该处的深度可以忽略不计，这样的处理至少保证网络分类性能不会下降。实际中，残差不可能会为0，这也使残差结构在学习到原有的特征外再学习到新的不同的特征，网络就会拥有更好良好的性能。这里H(x)就是观测值，x就是估计值（也就是上一层ResNet输出的特征映射）。如果残差映射(F(x))的结果的维度与跳跃连接(x)的维度不同，那咱们是没有办法对它们两个进行相加操作的，必须对x进行升维操作，让他们的维度相同才能计算。把网络加深到一定层次后就不能继续加深了，因为此时随着网络的继续深，所得到的效果不仅不会优化，有可能还会变得更差，这是因为网络的加深会造成梯度爆炸和梯度消失的问题。但是我们又知道网络越深，我们所能获取的信息越多、特征也越丰富，ResNet就解决了网络加深所带来的问题，从而使网络可以加深到更深的层次，即是说我们可以利用到更多的信息。残差网络优点：不同于VGGNet，因为残差网络有残差的存在，而残差我们就可以认为是图像的信息，且图像的信息可以直接再传递过来，所以在卷积层上学到的东西就比较少，只是学到了特殊的表达而已，而全部的信息是可以用残差的另一个恒等式保存下来。所以残差结构使得网络需要学习的知识变少，容易学习。表3-1常用残差网络结构[42]layernameoutputsize18-layer34-layer50-layer101-layer152-layerconv1112×1127×7，64stride2conv2_x56×563×3maxpool，stride2conv3_x28×28conv4_x14×14conv5_x7×71×1averagepool，1000-dfc，softmaxFLOPs1.8×1091.6×1091.8×1097.6×10911.3×109Siamese网络，也可称为孪生网络[43]，有两个结构完全相同的分支子网络构成是其最大特点，分支子网络训练输出不同图像中的特征，然后比较特征信息从而计算出两张图片的相似度，即孪生网络是以两张图片的相似程度来进行训练的。在孪生网络网络结构中，有两张图片输入记为x1、x2、输出记为Y，输入x1、x2被输送到两个分支子网络后，经处理输出映射得到输出向量记为Y（x1）和Y（x2），最后计算输出Y（x1）和Y（x2）两者的差值就是相似性度量。训练孪生网络网络时，训练参数为两张输入图片及标签，判断输入图片类型是否相同来给定标签值，当输入的两张图片为同一类别时输出标签值1，为不同类别时输出标签值0。我们知道，孪生网络模型是度量两张图片相似性的，当需要分类的类别多且每类的样本数较少时，使用孪生网络模型实现类别的识别、分类效果更好。传统分类方法需要提前知道每个样本确切的类别，而且每个样本要有确切的标签，另外标签的数量也不会太多。如果类别数量过多，且每个类别的样本数量又很少的时，传统的分类方法作用就不太大。细想一下也好理解，从自己手上所有数据集来看，图片的数量是有限的，从对数据集分类后的每个类别来看，样本的数量可能很少，如果用传统分类算法去分类的话，数量少的样本训练不出理想的分类结果，所以只能用别的有效的方法对类别多，每类中图片数量少的数据集进行训练，用孪生网络训练就是比较有效的方法。孪生网络的机制是从两张图中去学习相似性度量，然后将学习出来的度量去比较和匹配不知道类别的新的两张图片样本。新方法用于那些类别数多、每类样本数少的训练分类问题。网络模型的改进[44]：在本网络模型中，改进孪生网络模型的分支子网络卷积网络层，采用残差卷积神经网络来替代普通卷积网络。残差结构组成的卷积神经网络层提取列车车底图片特征信息，使其映射到容易识别相似性度量的目标空间中，在目标空间中使用对比损失函数来训练网络，最终根据两个样本的相似性程度判断列车车底图片样本是否异常。将残差网络结构和孪生网络结构结合起来的模型如图3-6所示。图3-6改进的模型图改进的网络模型的分支子网络由普通卷积神经网络换成残差结构，残差结构通过跨网络层连接的方式来实现[45]，若残差结构输入为x，输出为y，则通过卷积后