【GRU神经网络模型概述1900字】

GRU神经网络模型概述目录TOC\o"1-3"\h\u15638GRU神经网络模型概述 1236761.1循环神经网络 165251.2长短期记忆网络 2201091.3门控循环网络 41.1循环神经网络循环神经网络（RecurrentNeuralNetwork，RNN）最早是在二十世纪八十年代提出来的，是一种处理序列数据的神经网络REF_Ref8482\r\h[22]。一般来说RNN的输入是连续的长度确定的时间序列，RNN能够寻找到先前的样本数据和若干时间之后的样本数据的关联信息REF_Ref6931\r\h[23]。此外，RNN可以使用自己的隐藏节点来记录先前样本的历史信息，通过对一定长度的时间序列进行训练，可以得到整个时间序列中的全局规律和信息。而污水连接池的进水量数据是时序数据，那么进水量预测就是一个很典型的时间序列预测问题，适合用RNN来处理，挖掘时序数据中的序列信息。传统的神经网络没有“循环步骤”，而RNN为了能够处理时间序列，在网络结构中加入了“循环步骤”，这部分结构我们成为事件链或者循环层。在隐藏层中进行的计算是存在依赖关系的，本时刻的数据在隐藏层中的定义需要前一时刻的定义计算得来REF_Ref24621\r\h[24]。RNN结构如图2.1所示。图2.1RNN结构图图2.1是一个典型的RNN基本结构图，图中黄色方框为某个神经元节点，为本时刻样本的输入，为本时刻样本的输出，为RNN的隐藏状态。将图2.1在时间步上进行展开，如图2.2所示。图2.2RNN展开结构图在图2-2中，是输入层到隐藏状态的权重，是隐藏状态到输出的权重，是不同时刻的隐藏状态之间的连接权重。在计算每一时刻样本的隐藏参数时需要当前时刻的输入和前一时刻的隐藏状态来共同决定。公式2-(1)其中，b是偏置值，是激活函数。在RNN中所有的循环操作的参数共享，如、、等，因此RNN在面对不同的时刻的数据样本时可以使用和其他时刻的样本同样的计算操作，使得所需要计算的网络参数更少，进而提高训练速度，在面对不同长度的序列时也能达到很好的效果。在神经网络中随着网络深度的增加，产生梯度消失和梯度爆炸的概率也会增加REF_Ref25499\r\h[25]，当产生这种现象的时候，模型就会失去训练能力，这一点在RNN中更加严重，根据图2.2可以得出输入序列的长度相当于神经网络的深度，随着序列的长度增加模型产生长期依赖的问题的可能性越大，也就是说很容易丧失对之前一段时间信息的学习能力。1.2长短期记忆网络为了解决上一小节提到的长期依赖的问题，1997年SeppHochreiter等人提出了长短期记忆网络（LongShort-TermMemory，LSTM）REF_Ref26430\r\h[26]，该网络属于RNN的一种，它能够对多个时刻之前的有价值的信息进行有效的保持和利用，同时保证能够应对短期的信息。在一般的RNN中只有一个隐藏状态且参数共享，在LSTM中增加了一个元胞状态，其中用来针对短期信息的学习，是用来针对长期信息的学习。如图2.3所示。图2.3长短期记忆网络在图2.3展示的是LSTM网络的基本结构，在计算和的过程中，LSTM引入了“门”的概念，用来存储信息、利用信息和丢弃信息。对于每个时刻的数据信息，都有三个门来控制，分别是输入门、遗忘门以及输出门,门的作用是从一个场景跨入到另一个场景的通道，在LSTM中可以看作数据信息从一个时刻到另一个时刻的跨越。三种门的具体计算公式为公式2-(2)其中，b是偏置值，是激活函数，和是权重矩阵。门控系统可以决定通过的信息量，状态从0到1对应着保留信息量的从少到多，当状态为0时不保存任何信息，当状态为1时保留全部信息。图2.4展示了如何使用输入门、遗忘门和输出门。图2.4LSTM门控单元和状态单元示意图在图3.4中，元胞状态的计算需要输入门和遗忘门共同决定的，其中当前时刻输入的信息有多少可以被接受由以下公式计算得出公式2-(3)的信息有多少可以被所接受是由遗忘门决定，以下为的计算公式公式2-(4)LSTM的隐藏状态由元胞状态和输出门共同决定，计算公式如下公式2-(5)通过本节的图片和公式可以看出，在LSTM中，元胞状态可以很灵活的处理不同时刻的信息，使用门的概念来决定信息的去留，给时序信息长时间的流通提供了很好的路径，解决了长依赖的问题REF_Ref28807\r\h[27]。1.3门控循环网络在LSTM中为了解决长依赖问题，引入了三种门的概念和元胞状态，分别是输入门、遗忘门以及输出门，他们分别决定了LSTM对数据样本的短期和长期记忆。在2014年KyunghyunCho等人提出了GRU的概念REF_Ref29450\r\h[28]，将门的数量变为两个，如图3.5所示。图2.5GRU示意图在GRU中延续了LSTM中门的概念，但是在网络结构中使用了和一般RNN相同的结构，取消了LSTM中的元胞状态，只留下隐藏状态。在图3.5中可以看出，GRU网络中有两个控制门，分别是重置门和更新门。重置门和更新门的状态由当前时刻输入的信息和前一时刻隐藏状态的信息所决定，计算公式如下公式2-(6)其中，是激活函数，和是权重矩阵，通过图3.5可以看出在该网络结构中，重置门负责控制前一时刻的隐藏状态有多少信息需要传递给当前时刻，更新门控制着当前隐藏状态需不需要被新的状态替换掉，具体公式如下公式2-(7)其中，和是权重，表示着上一时刻需要丢弃掉多少信息，本时刻需要