【深度神经网络相关算法介绍2900字】

深度神经网络相关算法介绍综述目录TOC\o"1-3"\h\u12156深度神经网络相关算法介绍综述 1253301.1深度神经网络简介 1234401.2卷积神经网络 1319081.2.1卷积层 2278511.2.2池化层 214411.3循环神经网络 353621.4长短期记忆网络 5226461.4.1遗忘门 6319241.4.2输入门 7148561.4.3输出门 8247181.4.4LSTM总结 91.1深度神经网络简介人工神经网络的起源可以追溯到上世纪四十年代。1943年代科学家们美从生物神经网络的工作机制当中获得启发，提出了MP模型，后来又有科学家在其基础上提出一种前馈神经网络。其结构较为简单，只有输入层和输出层，但是已经具备了自动学习权重，损失函数，梯度下降算法，优化器等当下神经网络的主要思想。感知机相当于生物神经网络中的神经元，通常以实数值向量作为输入，计算这些输入的线性组合。神经网络就由这些感知机所组成，单个感知机就构成了最简单的神经网络。后来的神经网络在输入层和输出层之间加入了隐藏层。加入了多层隐藏层之后就产生了后来的深度神经网络。1.2卷积神经网络上世纪六十年代科学家们从猫的脑皮层结构中得到灵感，设计了卷积神经网络模型（ConvolutionalNerualNetworks，CNN）。CNN是一种基于卷积计算的神经网络，主要用来识别具有类似网格结构的二维图形。CNN在计算机视觉领域取得了优秀的成果，后来也逐渐被移植到情感分析中来。CNN的神经元之间是非全连接的，这一点和人的生物神经网络类似。非全连接的结构使其具有局部相关性，即某些相近神经元之间的权重是共享的。这种特点有效降低了参数的规模和模型复杂度[7]。完整的CNN网络结构包含若干交替存在的卷积层和池化层，最后和全连接层相连。其是一种监督学习的神经网络，CNN通过卷积层提取特征，提取后的特征和其他特征的位置关系是确定的。每个卷积层后面紧跟一个池化层来进行特征映射。1.2.1卷积层卷积是一种局部操作，其执行的工作是将输入层和权重矩阵进行卷积运算，通常还会设置偏置来增强模型的拟合能力。卷积计算过程如图3-1所示，左边是输入层的特征图，最外层灰色的区域是填充部分，边界填充能使得原本的边界特征得到充分利用。图中设置的卷积核大小为3x3，步长是窗口每次移动的格数。卷积尺寸越小，步长越小，对特征图的特征提取就越精细[8]。中间两层为滤波器，由权重矩阵所组成。执行卷积操作时窗口在输入的特征图上进行滑动，并和滤波器中的权重矩阵进行计算，输出结果到对应的位置中。图3-1卷积层计算过程1.2.2池化层经过卷积运算之后的矩阵要经过池化处理。池化层的作用是压缩特征图，常用的方法有最大池化和平均池化。池化层所作的只是筛选和过滤，不包含计算，可以降低网络模型的复杂度，同时提高模型的鲁棒性。如图3-2所示是最大池化处理，选取一片区域内的最大特征值，其最大优点是其不变性，此区域的其他值如果有微小的移动变化，池化后的结果依然保持不变。池化层之后是全连接层。前面说到CNN的神经元之间的非全连接的，但是最终的输出元素仍是通过所有输入元素进行线性计算得到的，因此通常我们也把它叫做全连接层。在全连接层中，前面提取到的所有特征会被综合起来，相当于对特征进一步的提纯，方便最后的分类器进行分类。图3-2最大池化过程1.3循环神经网络循环神经网络（RecurrentNeraulNetworks，RNN）的出现本身就是为了解决传统深度神经网络无法对时间序列变化做出反应的问题，因此其很擅长处理序列化信息，包括时间序列和结构序列。由于RNN的这种特性，使它成为处理自然语言最自然的神经网络结构。RNN的结构比较特殊，其展开是一个链式结构。不同于传统深度神经网络或者卷积神经网络，RNN的隐藏层是相互连接的，上一层的权重值会传递到下一层进行计算更新，每一层的输出都会输入到下一个隐藏层，影响下一层的输出[9]。图3-3RNN展开结构图如图3-3是RNN的展开结构图，RNN是按照时间进行传递的，每个时刻的输入都会结合当前模型状态进行计算然后输出，然后选择最后一层的输出结果。图3-4循环神经网络结构循环神经网络的整体结构如图3-4所示，首先输入向量x和权重矩阵U运算后进入隐藏层s。在隐藏层数据有两种传递方向，一种是经过权重矩阵V到达输出层，这是神经网络中最基本的处理流程。除此以外，还有另一个权重矩阵W，W在隐藏层之间传递，是为了对隐藏层上次的权重进行更新，然后作为下次输入权重的一部分。RNN在任意时刻的权重参数都是共享的，因此具有联系上下信息之间关系的能力。但由于梯度消失和梯度爆炸的存在，其很难保持长时间的记忆，不能解决长时期依赖的问题[10]。1.4长短期记忆网络上面的介绍中讲到，RNN可以挖掘到数据的语义信息和时序信息，根据过去的信息来理解当前时刻，考虑到前后信息的相关性。但是由于梯度消失的原因，对于间隔跨度较大的前后信息，RNNs则不能捕捉到其中的联系，即长时间依赖（long-termdependency）的问题。在此基础上Hochreiter&Schmidhuber(1997)提出提出了LSTM（LongShort-TermMemory，LSTM），其针对的就是长时间依赖的问题。图3-5和图3-6是RNN和LSTM的展开结构对比。LSTM本质仍是一种循环神经网络，结构与标准RNN类似，仍是将上一层的输出作为下一层的输入。在标准RNN中，神经元内部的结构非常简单，每个神经元有两个输入，上个神经元传来的t-1时刻的状态信息ht-1和当前时刻的输入xt，和权重聚合之后经过激活函数tanh输出当前时刻的状态信息[11]。LSTM在其基础上增添了门结构，内部神经元结构如图3-7所示，增添了遗忘门，输入门和输出门。通过门来控制状态信息，使LSTM具备选择性记忆和遗忘的能力，从而具备长时间的记忆。各个门的作用分别为：遗忘门：控制上一个神经元的信息有多少会被保存到当前神经元中。输入门：控制输入神经元的信息比重。输出门：控制输出到隐藏状态的信息比重。图3-5RNN内部结构图3-6LSTM展开结构图3-7LSTM神经元结构1.4.1遗忘门图3-8细胞状态传输通道相比于RNN结构，LSTM神经元中多出来的那条贯穿整个神经元的横线就是最关键的部分，如图3-8所示。它代表的是细胞的状态。输入的Ct-1在神经元中实际上只进行了少量的线性交互。信息在其上面传输能做到长时间的保留。这条横线结构只承载信息，对信息的控制则通过门结构来实现。图3-9遗忘门遗忘门是LSTM模型算法中特有的一种结构，如图3-9所示。这部分的作用是决定哪些信息被保存，哪些信息需要被丢弃。激活函数sigmoid层的作用是加入非线性因素，增强模型的表达能力。输入的ht-1和xt和权重矩阵聚合，bf是偏置，表示接受的误差范围，之后经过sigmoid层输出一个0~1之间的向量，“0”和“1”分别代表“丢弃所有信息”和“保留所有信息”，所以得到的这个输出向量就代表保留信息的比重。1.4.2输入门图3-10输入门神经元中输入门的部分如图3-10所示，其作用是更新信息，输入们层中同样用到sigmoid层对输入ht-1和xt进行处理获得输入状态it。tanh层则是生成向量EQ\*jc0\*"Font:TimesNewRoman"\*hps12\o\ad(\s\up11(~),C)t，其是一个备用更新的内容，我们用它来和输入状态it结合起来，对细胞状态进行更新。图3-11状态更新更新过程如图3-11所示，我们将上个细胞的状态Ct-1与遗忘门中输出的ft进行矩阵元素相乘，忘记不想保留的信息，加上输入状态it和备用更新信息C^t的乘积，这部分乘积即是新的需要添加的内容，得到最终更新后当前时刻的细胞状态Ct。1.4.3输出门图3-12输出门图3-12展示了输出门的结构，和前两步一样，输出层同样需要用到sigmoid层处理的一个输出比重，在这里是ot。之前计算得到的当前时刻的细胞状态Ct经过tanh层进行非线性操作，输出一个-1和1之间的数值。将这个输出和ot进行权重矩阵相乘，决定最终被输出的信息。得到最终的结果ht。1.4.4LSTM总结综上所述，LSTM的核心运算由以下几个公式概括：ft=σ（Wf∙[ht-1，xt]+bf）it=σ（Wi∙[ht-1，xt]+bi）EQ\*jc0\*"Font:TimesNe