深度学习实践教程（第二版）-课件 第7章循环神经网络

深度学习第7章循环神经网络7.1前馈神经网络和循环神经网络7.2循环神经网络原理7.3长短时记忆网络课上练习2第7章循环神经网络引例1：微信对话。女朋友：哥，我手机坏了，我想要个256g的苹果。男朋友：下班给你买去。男朋友下班后，急急忙忙带着二斤苹果去约会，结果......3第7章循环神经网络引例2：翻译：Games：BeijingGames：2022BeijingWinterGames：4游戏北京比赛2022北京奥运会可见，上下文很重要！第7章循环神经网络7.1前馈神经网络和循环神经网络5图7.1前馈神经网络和神循环经网络信息流对比图第7章循环神经网络7.2循环神经网络原理循环神经网络是一类用于处理序列数据的神经网络，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。6第7章循环神经网络7.2循环神经网络原理7第7章循环神经网络7.2循环神经网络原理8第7章循环神经网络7.2循环神经网络原理由结构和公式可知，整个RNN结构共享1组（U,

W,

b），这是RNN结构最重要的特性，且每一个隐藏层神经元h的计算公式是由当前输入X与上一个隐藏层神经元的输出组成。RNN的网络结构图。左边是通常表示，右边是左边展开后的。9此时输出层的神经元公式为：第7章循环神经网络7.2循环神经网络原理图7.5双向RNN10第7章循环神经网络7.3长短时记忆网络7.3.1长短时记忆网络原理

11LSTM由4个输入和1个输出组成：1．输入：就是外界要存入记忆单元的内容。2．输入门：控制存入门的开关。3．遗忘门：控制是否清空记忆单元的开关。4．输出门：控制是否输出记忆单元的开关。5．输出：输出记忆单元的内容到其他的隐层。第7章循环神经网络7.3长短时记忆网络7.3.1长短时记忆网络原理

LSTM的内部结构:12第7章循环神经网络7.3长短时记忆网络7.3.1长短时记忆网络原理

LSTM的内部结构:13第1章深度学习基础7.3长短时记忆网络7.3.1长短时记忆网络原理

LSTM工作流程：第一步：是否遗忘上一步传来的信息。第二步：决定更新哪些信息。第三步：此步将旧细胞更新为新细胞。第四步：输出哪些信息。

14第1章深度学习基础7.3长短时记忆网络7.3.2长短时记忆网络实例1

使用两个LSTM单元学习从不同相位开始的一些正弦波信号，LSTM网络在学习了正弦波之后，试图预测未来的信号值。15第1章深度学习基础7.3长短时记忆网络7.3.2长短时记忆网络实例2这个例子是亚马逊评论的情绪分析。

16课堂练习（1）反向传播算法(BackpropagationThroughTime，BPTT)无法解决长时依赖问题，因为BPTT会带来所谓的梯度消失或

问题。答案：梯度爆炸课堂练习（2）RNN训练网络采用的反向传播算法：

。答案：随时间变化的反向传播算法（BackpropagationThroughTime，BPTT）课堂练习（3）RNN存在着的问题是梯度消失或

。答案：梯度爆炸课堂练习（4）LSTM由4个输入1个输出组成：除了和其他网络一样有输入，输出外，还有控制输入的是

，控制是否清空记忆单元的开关：

，控制是否输入记忆单元的开关：

。答案：输入门、遗忘门、输出门课堂练习（5）前向RNN即只将语句前部分的内容不断地向后一个RNN传递，但这样带来的缺陷是

。答案：位于句子后半部分的内容没法影响前半部分课堂练习（1）以下哪个不是RNN网络擅长的工作：（）。A.机器写小说B.语音识别C.文本生成D.从网上爬取数据答案：D课堂练习（2）以下不是LSTM结构的是：（）。A.输入门B.遗忘门C.输出门D.开关门答案：D课堂练习（3）双向RNN(BidirectionalRNN)工作过程是：（）。A.先正向一次，再反向一次，将两者的存储混合，再扔入网络中在来一次。B.先反向一次，再正向一次，将两者的存储混合，再扔入网络中在来一次。C.先正向一次，再反向一次。D.在网络里随机传播。答案：A课堂练习（4）对于梯度爆炸，可以用（）或挤压渐变来解决此问题。A.截断