人工智能与未来 课件 4.6 扩展：循环神经网络

Algorithm第4章

算法2035主讲：王红梅4.14.24.34.4算法那些事算法概述搜索算法机器学习目录CONTENTS4.5神经网络与深度学习扩展：循环神经网络*4.64.6.1循环神经网络结构4.6.2简单循环神经网络示例4.6.3循环神经网络应用模式4.6.4深度循环神经网络

之前我们讲到的神经网络都属于前馈神经网络。在前馈神经网络里，信息的传递就是一条单行道，只能从输入层一路跑到输出层。输出只与当前时刻的输入有关，与之前的输出无关。4.6.1循环神经网络结构输入层中间层（隐藏层）输出层输入数据

对数据进行加工

输出数据但是在很多现实任务中，网络的输出不仅和当前时刻的输入相关，也和其过去一段时间的输出相关。比如玩“猜数字”游戏。

当处理这一类数据前后相关的问题时，就需要一种具有记忆能力的模型。4.6.1循环神经网络结构游戏开始你目前还剩6次机会！请输入你猜的数字：56猜大了！！你目前还剩5次机会！请输入你猜的数字：45猜小了！！你目前还剩4次机会！请输入你猜的数字：51你猜对了吗？猜数字游戏循环神经网络结构t时刻隐藏层状态t-1时刻隐藏层状态4.6.1循环神经网络结构输入层隐藏层输出层xtht延迟器htht-1

循环神经网络是一类具有记忆能力的神经网络。除了由输入层、隐藏层和输出层三部分组成之外，其独特之处在于隐藏层之间存在连接，使得隐藏层不仅能够接收输入层的信息，还能接收上一时刻隐藏层自身的输出信息，让信息可以在时间序列上进行传递和处理。

对于循环神经网络，一个非常重要的概念是时刻。循环神经网络隐藏层的输入除了来自输入层xt，还有一个来自于延迟器提供的前一时刻的隐藏层状态ht-1

。可以按时间把循环神经网络展开：4.6.1循环神经网络结构4.6.2

简单循环神经网络示例

图（b）是一个单输入、单输出循环神经网络，隐藏层包含两个神经元H1、H2。

隐藏层之前添加了两个神经元H1’、H2’用于表示上一个时刻隐藏层对当前隐藏层的输入。注意：图中所有数字都是假设的这里的字母X,H,Y大写代表神经元，小写x，h，y代表状态或数值4.6.2

简单循环神经网络示例0.10010.10.30.5（a）t1时刻假设t1时刻的输入x1=1，我们算一下该时刻循环神经网络的输出。t1时刻属于初始时刻，于是我们指定之前的隐藏层状态为[0.0,0.0]，与t1时刻的输入拼接起来得到[1.0,0.0,0.0]为了计算隐藏层状态，假设H1输入连接权重如图所示。于是H1隐藏状态为：

h1=1.0*0.1+0.0*0.3+0.0*0.5=0.1输入层隐藏层输出层X1H1H1\‘H2’H2Y这里的字母X,H,Y大写代表神经元，小写x，h，y代表状态或数值4.6.2

简单循环神经网络示例0.50.20.10010.10.30.50.40.61.02.00.2（a）t1时刻为了计算隐藏层状态，假设H2的输入连接权重如图所示。于是H2隐藏状态为：

h2=1.0*0.2+0.0*0.4+0.0*0.6=0.2假设输出神经元Y的输入连接权重如图所示。最终，t1时刻神经网络的输出为：

y=0.1*1.0+0.2*2.0=0.5输入层隐藏层输出层X1H1H1’H2’H2Y这里的字母X,H,Y大写代表神经元，小写x，h，y代表状态或数值4.6.2

简单循环神经网络示例0.230.20.110.10.30.5（a）t2时刻假设t2时刻的输入仍为x1=1，我们再算一下该时刻神经网络的输出。前面已经算出t1时刻隐藏层的状态为[0.1,0.2]，与t2时刻的输入拼接起来得到[1.0,0.1,0.2]为了计算隐藏层状态，H1输入连接权重保持不变。于是H1隐藏状态为：

h1=1.0*0.1+0.1*0.3+0.2*0.5=0.23输入层隐藏层输出层X1H1H1’H2’H2Y这里的字母X,H,Y大写代表神经元，小写x，h，y代表状态或数值4.6.2

简单循环神经网络示例0.950.360.230.20.110.10.30.50.40.61.02.00.2（a）t2时刻为了计算隐藏层状态，H2输入连接权重保持不变。于是H2隐藏状态为：

h2=1.0*0.2+0.1*0.4+0.2*0.6=0.36输出神经元Y输入连接权重如图所示。最终，t2时刻神经网络的输出为：

y=0.23*1.0+0.36*2.0=0.95输入层隐藏层输出层显然，尽管t0与t1时刻输入相同，但结果却不相同。X1H1H1’H2’H2Y这里的字母X,H,Y大写代表神经元，小写x，h，y代表状态或数值0.950.360.230.20.110.10.30.50.40.61.02.00.2（a）t2时刻输入层隐藏层输出层X1H1H1’H2’H2Y下一个时刻t3，H1’和H2’的值是多少？4.6.2

简单循环神经网络示例作为与循环神经网络的对比，我们分别计算t1、t2两个时刻图（a）所示的非循环神经网络的输出。

假设t1时刻的输入x1=1，t2时刻的输入仍为x1=1，计算结果应该是一样的。有兴趣的同学，可以自己算一算。这里的字母X,H,Y大写代表神经元，小写x，h，y代表状态或数值4.6.3

循环神经网络应用模式

循环神经网络可以应用到很多不同类型的机器学习任务。根据这些任务的特点可以分为以下几种模式：序列到类别模式、同步的序列到序列模式、异步的序列到序列模式。1.序列到类别模式

该模式主要用于序列数据的分类问题：输入为序列，输出为类别，比如文本分类。

将样本按不同时刻输入循环神经网络，得到不同时刻的隐藏状态𝒉1,⋯,𝒉t。可以将𝒉t

看作整个序列的最终表示（或特征），并输入给分类器进行分类，得到一个类别标签y。1.序列到类别模式情感类别判定2.同步序列到序列模式

该模式主要用于序列标注任务，即每一时刻都有输入和输出，输入和输出序列的长度相同。比如自然语言处理中的词性标注任务。

该模式每个时刻的隐状态ht代表了当前时刻和历史的信息，并输入给分类器得到当前时刻的标签yt。2.同步序列到序列模式词性标注我爱购物3.异步序列到序列模式

该模式也称为编码器-解码器（Encoder-Decoder）模型，即输入序列和输出序列不需要有严格的对应关系，也不需要保持相同的长度。比如在机器翻译中，输入为源语言的单词序列，输出为目标语言的单词序列。3.异步序列到序列模式机器翻译4.6.4

深度循环神经网络传统循环神经网络通常仅包含一个隐藏层。这种单一隐藏层的结构限制了网络在处理复杂数据时的能力。为了克服这一局限，研究者们提出了深度循环神经网络（DeepRecurrentNeuralNetwork，DRNN）的概念。4.6.4

深度循环神经网络深度循环神经网络的核心思想是通过增加隐藏层的数量来扩展网络的能力，使其能够学习并表示更加复杂的数据结构。

在深度循环神经网络中，每一层隐藏层都扮演着不同的角色，通过层与层之间的信息传递和转换，网络能够捕捉到数据中更加细