【循环神经网络架构概述2000字】

–PAGE28–循环神经网络架构概述循环神经网络（RecurrentNeuralNetwork，RNN），是一类通过隐藏层节点周期性的连接来捕捉序列化数据中动态信息的神经网络。在循环神经网络的结构中，神经元不但可以接收来自其他神经元的信息，还可以接收来自主神经元之前时刻的历史信息，即影响当前神经元的输出的因素不仅包括当前时刻的输入，同时还有之前时刻的输出。RNN会选择性地对历史特征进行遗忘或记忆，然后应用于当前的输出，从理论上来说，循环神经网络主要用来处理序列数据和预测序列数据，并且能够作用于任意长度的序列数据，但在序列长度增加的情况下，模型会出现梯度消失或梯度爆炸的问题，进而丢失远距离时间的序列信息，导致表征能力下降。循环神经网络架构循环神经网络的基本结构包括一个输入层、一个隐藏层和一个输入层。如图2-1所示，x代表输入层、s代表隐藏层的值，o代表输出层的值，x、s、o均是向量。U表示输入层到隐藏层的权重矩阵，V表示隐藏层到输出层的权重矩阵。在循环神经网络中，s不仅取决于x，还取决于上一次隐藏层的值，W则代表上一次隐藏层的值作为这次输入时的权重矩阵。图2-1循环神经网络基本网络结构为了更清楚地理解RNN的结构，对上图依据时间序列进行展开，可以得到如图2-2。图2-2循环神经网络展开示意图对于每一时刻t来说，xt为输入的数据，st为隐藏层的值，ot为输出层的值，st的值是由xt和ot共同来决定的，输出层和隐藏层的计算公式分别如式2-1和式2-2所示。o(2–1)s(2–2)上式中g·和f由以上计算过程可知，循环神经网络的每个输出值ot在一般的循环神经网络中，仅存在一个隐藏状态单元ht长短时记忆网络（LSTM）长期依赖（Long-TermDependencies）是循环神经网络自身固有结构的产物，为了解决这个问题，诸多学者提出了长短时记忆网络（LongShortTermMemory）和门限循环单元（GatedRecurrentUnit，GRU）[19]。LSTM和GRU由于其独特的网络结构，能够有效地处理RNN训练时出现的梯度爆炸和梯度消失问题。LSTM与RNN的区别在于LSTM引入了细胞状态，并且使用输入门、遗忘门、输出门三种门结构来控制信息的流动。其内部结构如图2-3所示。图2-3LSTM内部结构上图中，xt-1表示t-1时刻的输入值，xt表示t时刻的输入值，ht−1表示t-1时刻神经元的状态，表示t时刻神经元的状态，表示t-1时刻神经元的记忆，Ct表示t时刻的即时记忆，ft表示t时刻神经元所要丢弃掉的旧信息，it表示t时刻神经元要保留的新信息，LSTM通过使用门的结构来减少或增加输入到神经元的信息，门可以让信息选择性地通过。具体算法流程如下：第一部分，遗忘阶段。ft表示遗忘门，遗忘门结合t-1时刻隐藏层状态值ht−1和当前输入值xt𝑓𝑡=𝜎(𝑊𝑓⋅[ℎ𝑡−1,𝑥𝑡]+𝑏𝑓)(2–4)第二部分，确定细胞状态Ct所要存放的新信息。这一部分一共有两步在同时进行。一是sigmoid层作为“输入门”i(2–5)C(2–6)C(2–7)第三部分，输出部分。通过使用一个sigmoid层来确定细胞状态的哪些部分作为输出，然后通过tanh层处理细胞状态，以获得一个在-1到1之间的值并将其和sigmoid门的输出进行相乘，进而获得输出信息，计算公式分别如式2-8和2-9所示。o(