【《长短记忆神经网络概述》1900字】

长短记忆神经网络概述1.1LSTM的基本结构长短期记忆网络LSTM是循环神经网络的一个变体，其目的是为了防止在模型建立的过程中依赖性记忆下降情况的出现。LSTM在传统的循环神经网络的基础上，添加了输入门、输出门和遗忘门部分，防止传统循环神经网络模型中的梯度消失或者爆炸的情况的出现。并且，在LSTM网络中还添加了一个信息的存储器，即在网络的隐藏层中添加了一个单元状态c(t)。首先，定义输入门的函数为Sigmoid函数，可以决定哪一个值是需要被更新的，然后，在c(t)中加入tanh层，使其转变成一个新的候选向量模型中出现的梯度消失状况大多是与非线性激活函数有关的，逆向传播时，用到的非线性激活函数越多，梯度的衰减程度越大。而LSTM网络中的c(t)由于在训练过程中只与数乘和加法有关，因此可以有效的保存梯度以及整个网络的追溯期。LSTM网络中最为重要的一环是，通过三个特殊门对c(t)加以控制。在时刻t，整个LSTM网络一共有三个输入（x(t−1)cti(t)f(t)c(t)o(t)h(t)式中i(t)、f(t)、σ、tanh——分别表示Sigmoid函数和双曲正切激活函数；W、b——分别为相应的权重系数矩阵和偏置项；c(t)——th(t)——图2-1LSTM单元结构示意图Sigmoid函数和双曲正切函数分别见式（2-23）、（2-24）。σxtanhx=1.2双向RNN和双向LSTM双向循环神经网络（BRNN）是在传统的循环神经网络的基础上，增加了一条由后向前学习的路线，与原有的由前向后学习的路线相互配合，充分学习到数据的内在特征。2005年，双向LSTM也在传统LSTM的基础上被提了出来，实验结果表明，双向LSTM模型的精确度要高于最初的单向LSTM模型，这个结论也在很多其他问题的研究过程中被证实，比如语音分类、数字分类等。双向LSTM网络包括了两个LSTM网络，其中一个用来训练前向序列，另一个用来训练后向序列。这种结构的优越性体现在保留初始LSTM网络原有的优势的前提下，可以在输出层的同一时刻得到未来信息和历史信息，从而完成任务更为高效。结构如图2-2：图2-2BLSTM结构图2-2中，圆中的xt表示模型在t时刻的输入数据；矩形框中的LSTM为式(2-17)至式(2-22)描述的模型；ht和ht分别代表前向的LSTM与后向的LSTM在t时刻的输出表示，那么直接组合ht与ht得到h1.3LSTM的参数选择（1）batchsize（批量大小）Mini-batch的思想为：将整个时间序列数据分成多个长度为batchsize的小规模序列，将每一个小规模序列作为一个训练批次，进行迭代训练，训练次数为epoch。其中，小规模序列的长度的选择极为重要，直接影响了模型训练所花费的时间以及模型的优化程度，如果太小，则耗费大量的时间且不利于模型的收敛，如果太大，会导致相邻的两个小规模序列之间的差别不明显，模型结果容易陷入到局部最小值。（2）优化算法运用Adam算法来对模型中的参数进行迭代训练，算法的本质建立在梯度的一、二阶矩估计的计算上面，其优越性体现在参数更新过程中的平稳程度，公式如下：mt式中mtntmt——梯度的一阶矩估计nt——梯度的二阶矩估计（3）学习率在模型的训练过程中，学习率通过调整模型中优化参数的幅度，进而控制模型的训练速度，如果学习率设置过低，导致模型的训练速度太慢，学习率设置过高，会使得模型在训练时摇摆于几个极优值之间。通常情况下，学习率的设置是通过反复的实验确定的，没有一个特定的设置规则可以遵循。（4）epoch（训练次数）训练集中全部样本的训练总次数。（5）step（训练步长）训练模型的步数。（6）dropout由于整个神经网络结构采用的连接方式为全连接且网络层数较高，可能会导致模型的训练难度变大，收敛速度变慢，