计算机视觉应用开发课件：LSTM（上）

LSTMRNN概述01任务LSTM概述02任务学习目标了解RNN的网络结构了解LSTM的基本概念1RNN概述1RNN概述之前讲神经网络的时候，只能一次单独处理一个图像的输入，并且前一个输入和后一个输入是完全没有关系的。但是在某些任务中需要能够更好地处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当理解一句话的时候，需要把组成这句话的所有词关联起来，而不能去单独地理解每个词的意思。以自然语言处理的词性标注任务来讲，一个句子中，前一个单词其实对于当前单词的词性预测是有很大影响的。比如“小明跳舞”，“关公舞大刀”，同样是“舞”字，词性却不相同，前者是名词，后者是动词。但是由于“小明跳舞”中“舞”子的前面“跳”是一个动词，那么很显然“舞”作为名词的概率就会远大于动词的概率。因为动词后面接名词很常见，而动词后面接动词很少见。所以为了解决一些这样类似的问题，能够更好的处理序列的信息，RNN就诞生了。1RNN概述RNN（RecurrentNeuralNetwork）循环神经网络，是一类以序列数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。RNN是一种特殊的神经网络结构,它是根据“人的认知是基于过往的经验和记忆”这一观点提出的。它与DNN，CNN不同的是：它不仅考虑前一时刻的输入，而且赋予了网络对前面的内容的一种‘记忆’功能。1RNN概述图中展示的是一个简单的循环神经网络结构图：可以看到，如果把上面的“W”去掉，它就变成了前面讲的神经网络。X代表输入层的值，S代表隐藏层的值，O代表输入层的值，U和V分别代表层到层之间的权重。那W是什么呢？循环神经网络的隐藏层的值S不仅仅取决于当前这次的输入X，还取决于上一次隐藏层的值S，

W就是隐藏层上一次的值作为这一次的输入的权重。1RNN概述可以把W按照时间线展开，循环神经网络就变成如图右侧一样：现在看上去就比较清楚了，这个网络在t时刻接收到输入

之后，隐藏层的值是

，输出值是。关键一点是，

的值不仅仅取决于

，还取决于

。1RNN概述在t=1时刻，一般初始化输入

=0，随机初始化W，U，V，进行下面的公式计算：其中，f和g均为激活函数。其中f可以是tanh，ReLu，sigmoid等激活函数，g通常是softmax也可以是其他激活函数。1RNN概述时间就向前推进，此时的状态

作为时刻1的记忆状态将参与下一个时刻的预测活动，也就是：以此类推,可以得到最终的输出值为:2LSTM概述2LSTM概述RNN的关键点之一就是它们可以用来连接先前的信息到当前的任务上。但是当相关信息和当前预测位置之间的间隔变得非常大，RNN会丧失学习到连接如此远的信息的能力。LSTM就是专门设计出来解决这个问题的。LSTM（LongShort-TermMemory），长短期记忆网络，是一种特殊的RNN，是为了解决RNN长期依赖问题而专门设计出来的。所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中，这个重复的结构模块只有一个非常简单的结构，例如一个tanh层，如图所示。2LSTM概述LSTM也拥有这种链状结构，但是重复模块则拥有不同的结构。与神经网络的简单的一层相比，LSTM拥有四层，这四层以特殊的方式进行交互。如图所示。