【《深度学习算法概述》3500字】

深度学习算法概述目录TOC\o"1-3"\h\u6448深度学习算法概述 1220421.１深度学习 177051.1.1神经元模型 168071.1.2激活函数 2301101.1.3损失函数 3187461.2深度学习神经网络 4240041.3卷积神经网络 5311631.3.1深度卷积神经网络层级 5169011.3.2经典深度卷积神经网络 61.１深度学习人工智能技术进入快速发展阶段后，机器学习和深度学习的研究持续火热。深度学习（DeepLearning）是人工智能、图像建模、模式识别、神经网络、最优化理论和信号处理等领域的交叉学科，主要构建和模拟人脑进行分析学习，它属于机器学习的新兴领域，深度学习可以看作是更为复杂的机器学习，其在图像识别方面取得了尤为显著的进步。深度学习主要是通过构建一个多层次的神经网络模型，输入原始数据后，使用算法在网络模型的基础上进行自动学习，从而提取出更高维、更抽象的数据特征表示。例如，百度研发的无人驾驶汽车就是以深度学习为核心的计算机视觉技术应用的典型代表，可以达到厘米级别的车辆精准定位。1.1.1神经元模型深度学习用神经网络模拟人类大脑的神经元连接，深度学习的过程就是将大量数据输入到神经网络中，将输出与需求进行比对，若符合要求则保留该网络，若对比存在偏差，就通过不断调整神经网络的参数来达到需求输出。深度学习模型由输入层(inputlayer)、隐藏层(hiddenlayer)和输出层(outputlayer)构成，如图1.1所示。图1.1深度学习模型示意图图1.1中的隐藏层由若干个神经元构成，神经元模型如图1.2所示。图1.2神经元模型示意图在图1.2的神经元模型中，存在多个输入，输出y的表达公式如下所示：(1)公式中，w为链接权重值，b为偏置参数，f为激活函数。深度学习算法训练时存在无监督学习和监督学习两个阶段。无监督学习通过激活函数逐层开始优化参数，监督学习则是利用损失函数逐层将训练获得的参数进行优化。1.1.2激活函数在多层神经网络中，神经网络中的每个神经元节点进行输入输出传递时上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数。常见地，线性函数、ReLU函数、Sigmoid函数均为激活函数。Sigmoid函数如图1.3所示，其表达式为：(2)从图1.3中可以看出，Sigmoid函数值域为（0,1），当输入值趋近负无穷时，函数值趋于0，输入值趋于正无穷时函数值无限趋近于1。图1.3Sigmoid函数示意图Sigmoid函数求导简单，但在输入值过小或过大时候函数梯度几近于零，在反向传播过程中容易出现梯度消失的情况，在新的CNN网络中很少使用。ReLU函数全称是修正线性单元，其表达式为：(3)相对于Sigmoid函数，使用ReLU函数可以避免梯度弥散，求导也更为简单，在神经网络的计算中，ReLU函数增强了数据的稀疏性，这样导致当输入值小于零时，神经元无响应输出，当学习率较大时候，可能会发生大量的数据节点未被激活，梯度响应为零的现象。因此引入了LeakyReLU函数。其计算公式为：(4)由公式可知，ReLU将初始输入为负值均设为零，但LeakyReLU在网络输入非负值时不进行置零，而是添加一个非零斜率，解决了使用ReLU在输入负值时输出与一阶导函数均为零，神经元不能正常更新参数的问题[17]，函数图像如图所示，横坐标表示网络输入，纵坐标表示网络输出，图像左侧引入了很小的坡度，函数导数不为零，可以进行很慢的梯度学习。1.1.3损失函数深度学习中使用损失函数来逼近真实值和预测值。损失函数最小化可以模型更好地到达到收敛状态，减少模型误差。因此，不同的损失函数，对模型的影响会产生不同的影响。神经网络通过训练得到最优的权重使得输出值与样本的真实标签之间差距最小，在实际应用中引入正则损失预防模型出现过拟合。常见地，损失函数有平方损失和交叉熵损失，具体计算公式为：(5)(6)平方损失函数常用于解决回归问题，交叉熵损失常用于二分类问题[18]。1.2深度学习神经网络深度学习的核心为深度神经网络（DeepNeuralNetwork）是一种模仿神经网络进行信息分布式处理的数学模型。根据网络结构的不同，深度神经网络可以分为三种类型：卷积神经网络（ConvolutionNeuralNetwork），循环神经网络（RecurrentNeuralNetwork），生成式对抗网络（GenerativeAdversarialNetwork）[19]。（1）卷积神经网络是建立在多层感知器的基础上，将卷积运算、采样操作与人工神经网络相融合，使得通过网络提取出的特征具有一定的空间不变性。卷积神经网络是一种具备高效识别能力的前馈神经网络，由卷积层、池化层和全连接层组成，卷积神经网络具有卷积操作、稀疏链接、权值共享等特点。卷积神经网络的应用场景主要有视频分析、图像处理等。（2）循环神经网络是一类以序列数据作为输入的神经网络，在序列的演进方向上进行递归，所有的循环单元之间链式连接。循环神经网络是指一个随着时间的推移，重复发生的结构。RNN网络和其他网络最大的不同就在于RNN能够实现某种“记忆功能”，是进行时间序列分析时最好的选择，如同人类能够凭借记忆更好地认识这个世界一样。RNN也实现了类似于人脑的这一机制，对所处理过的信息留存有一定的记忆，而不像其他类型的神经网络并不能对处理过的信息留存记忆，而引入了卷积神经网络的循环神经网络可以处理包含序列输入的多种计算机视觉问题。循环神经网络在自然语言处理、文本分析、语音图像等多个领域均有非常广泛的应用。（3）生成式对抗网络蒙特利尔大学的GoodfellowIan于2014年提出的一种生成模型，主要由生成模型G和判别模型D构成。生成式对抗网络通过生成模型与判别模型进行博弈实现，训练过程中通过相互竞争让这两个模型同时得到增强.生成式对抗网络的主要应用场景为图像生成、三维建模、图像风格迁移和视频预测等领域。行人检测属于深度学习的经典应用，主要采用卷积神经网络进行。1.3卷积神经网络1.3.1深度卷积神经网络层级深度学习中应用最广泛的算法均是以卷积神经网络为基础的，CNN是一种前馈多层网络，信息从输入端单向流动到输出端，每一层使用一组卷积核。CNN模型主要包含输入层、卷积层、池化层和输出层。卷积神经网络的层级结构如图1.4所示。图1.4典型卷积神经网络层级结构图其中，输入层的作用是向神经网络中输入图像，对图像进行裁剪、增强、缩放、归一化等处理，当输入图像为灰度图像时，通道数设置为1，当输入为彩色图像时，通道数设置为3。卷积层的作用是从输入图像中进行特征提取，卷积层的参数包含预设的卷积核尺寸以及卷积运算步长、卷积核参数。对于同一张目标图像，不同的卷积会提取出不同的特征，所以一个卷积层中会同时存在多个卷积核。在前向传播时，卷积核按照步长沿固定方向进行卷积操作，卷积后特征图会小于输入图像尺寸。对于一个n×n尺寸的输入，卷积核大小设定为f×f，卷积步长为s，进行零填充的大小为p，卷积运算的输出可以表达为：(7)图1.5反映了一个输入为5×5，卷积核大小为3×3，卷积步长为1的卷积运算过程（未进行填充），最终输出尺寸为3×3×1。卷积运算的结果不能直接当作特征图，需要经过激活函数等运算，卷积具有“权值共享”的特性，防止网络过拟合。图1.5卷积运算过程示意图池化层对卷积层的输出进行下一步的过滤，实际上是一个下采样的过程。池化层的设定参数有池化窗口尺寸和步长，池化窗口尺寸通常选取3或2，不需要进行参数的学习。常见的池化方式有平均池化(MeanPooling)和最大池化(MaxPooling)。当输入大小为5×5时，池化窗口尺寸设定为3×3，步长设定为1，平均池化与最大池化的过程如图1.6所示。图1.6最大池化与平均池化过程示意图最大池化将视野范围内的最大值作为输出，整体特征可分性强。而平均池化将视野范围内的平均值作为输出，经过平均池化后的特征信息更为平滑，实际应用中较多使用最大池化。池化层使得网络训练时放大了图像的像素特征，提高了网络的泛化能力，减少了过拟合现象。1.3.2经典深度卷积神经网络经典的深度卷积神经网络模型主要有Alex、VGGNet、ResNet等。其中，AlexNet[20]网络结构由AlexKrizhevsky提出，在2012年的ImageNet图像分类比赛中获得冠军，首次在大规模图像数据集实现了深层卷积神经网络结构。该网络共包含8个权重层，其中5个卷积层，3个全连接层，具体的网络模型如图1.7所示。在2000年初，AlexNet使用了两个GPU并行训练，克服了硬件方面的不足，开启了架构升级的新时代。图1.7AlexNet网络模型图Simonyan[21]等人于2014年提出了VGGNet网络架构，它是在AlexNet的基础上发展而来的深度卷积神经网络，在同年的ImageNet图像分类比赛中取得了第二名。VGGNet相比AlexNet的一个改进是采用连续的3×3的卷积核代替AlexNet中的较大卷积核，多层非线性层增加了网络深度，保证了模型的学习优势。VGGNet在卷积层后加入了最大池化，使用填充维持了空间分辨率，提高了网络的非线性预测能力。VGGNet网络模型如图1.8所示。图1.8VGGNet网络模型图在卷积神经网络中,随着网络深度的不断增加，会出现梯度消失与梯