【《长短时记忆网络概述》1900字】

长短时记忆网络概述1.1循环神经网络在用深度学习处理时序问题的时候，RNN是最常使用的模型之一。循环神经网络（RecurrentNeuralNetwork，RNN）是一种用于处理序列数据的神经网络模型，相比其他的神经网络，RNN能够处理序列变化的数据。比如下一个数据会因为上一个数据的不同而有变化，RNN能够很好地解此类问题。循环神经网络之所以在时序数据上有着良好的表现，是因为RNN在时间片t时会将时间片t-1的隐节点作为当前时间片的输入，也就是图2.6的结构，之前时间片的信息也会被用于计算当前时间片的信息，而传统DNN模型的隐藏层的输出只取决于当前时间输入的特征。图2.5RNN的链式结构循环神经网络的数学表达式为h传统DNN隐节点的数学表达式为h对比RNN和DNN的节点的数学表达式，不同之处在于RNN将上个时间片t-1的隐节点状态作为当前时间片t的隐节点的输入，这是循环神经网络能更好的处理时序数据的原因。循环神经网络的隐节点ht在深度神经网络计算中，普遍存在长期依赖的问题，产生长期依赖的原因是当神经网络的节点经过许多阶段的计算后，比较长之前时间片的特征已经被覆盖，随着时间片数据的增加，RNN丧失了学习长距离链接信息的能力。图2.6RNN的长期依赖问题梯度消失和梯度爆炸是RNN模型训练时会出现的问题，产生梯度消失和梯度爆炸的原因是因为RNN权值矩阵的循环相乘所导致的，相同函数的多次循环会产生极端的非线性结果。梯度消失和梯度爆炸主要存在于RNN中，因为RNN的每个时间片都使用相同的权值矩阵。梯度爆炸的处理可以使用梯度截断的方法。梯度截断方法是指把梯度值超过阈值的梯度手动降低。虽然梯度截断在一定程度上会改变梯度的方向，但梯度截断的方向依然是向损失函数减小的方向变化。梯度消失不能简单通过使用类似梯度截断的阈值调整方法去解决，因为长期依赖现象也可能产生很小的梯度，在上面例子中，我们希望t9时刻能够学习到t1时刻的特征，在这短时间内我们不希望隐节点的状态发生很大变化，所以1.2长短时记忆网络长短时记忆网络（LongShortTermMemory，LSTM）是具有记忆长短期信息能力的神经网络。LSTM在1997年由Hochreiter,S,和J.SchmidhuberREF_Ref71152923\r\h[35]提出，由于深度学习在2012年的兴起，LSTM又经过了一系列的发展，形成了目前比较系统且完整的LSTM框架，并且在很多领域得到了广泛应用。提出LSTM为了解决长期依赖和梯度消失爆炸问题REF_Ref71153469\r\h[36]。传统的RNN隐节点的输出仅由权值，偏置以及激活函数决定图2.7。RNN的结构是链式结构，不同时间片使用的是相同的权值矩阵。图2.7RNN单元LSTM能够解决RNN的长期依赖问题，因为LSTM引入了门（gate）机制，用于控制特征数据的传递和损失，LSTM是由一系列LSTM单元（LSTMUnit）组成，其网络结构如下图2.8。图2.8LSTM单元黄色的方框代表一个神经网络层，由权值、偏置以及激活函数组成；粉色圆圈代表元素级别操作；箭头代表向量流向；相交的箭头代表向量的拼接；分叉的箭头代表向量的复制。LSTM的核心部分是单元状态（cellstate），它自始至终存在于LSTM的整个链式结构中。图2.9LSTM的单元状态图中，值的传递为下式：C其中ft叫做遗忘门，表示ct-1的哪些特征被用于计算Ct。ftf通常使用sigmoid作为激活函数，sigmoid的输出是一个介于[0,1]区间内的值，但是当观察一个训练好的LSTM时，门的值绝大多数都非常接近0或者1，其余的值少之又少。其中⊗是LSTM最重要的门机制，表示ft和C图2.10LSTM的遗忘门如图2.11所示，Ct表示单元状态更新值，由输入数据xt和隐节点ht−1经由一个神经网络层得到，单元状态更新值的激活函数通常使用tanh。it叫做输入门，同ft一样也是一个元素介于[0,1]图2.11LSTM的输入门和单元状态更新值的计算方式图2.11中，LSTM输入门和单元更新值的计算方法为以下公式：iCit用于控制Ct的哪些特征用于更新Ct图2.12LSTM的输入门的使用方法C如图2.12，为