Python自然语言处理 课件 10-3-循环神经网络

深度学习与自然语言处理Python自然语言处理第十章课前回顾数据获取训练词向量测试循环神经网络03简单RNNLSTM网络Attention机制简单RNN

循环神经网络（RecurrentNeuralNetworks，简称RNN）：在原神经网络的基础上添加记忆单元RNN的思想是利用顺序信息RNN对序列中的每个元素执行相同的运算，并且每个运算取决于先前的计算结果RNN会记住到目前为止已计算过的所有信息。所以理论上，RNN可以使用任意长的序列信息简单RNN

循环展开后示意图：

RNN基本网络单元：简单RNN

RNN细节示意图简单RNN

简单RNN

按时间顺序计算前向传播（ForwardPropagation）将反向传播算法用于残差传输，在普通BP网络上添加了时间序列，称为BPTT（BackPropagationThroughTime）算法简单RNN

RNN变体长期短期记忆网络（LongShortTermMemoryNetworks，简称LSTM）目标预测的点与其相关信息点之间的间隔较小，则RNN可以学习使用过去的信息例：预测“中国的首都是”的下一个词，直接使用“北京”，无需其他信息简单RNN

在大多数情况下，更多的上下文信息更有助于进行推断例：预测“我出生在中国，成长在中国，因而我的母语是汉语”的最后一句，需要更多更早之前的上下文简单RNN要预测的点与其相关点之间的间隔可能会变得非常大，间隔越大，RNN越难学习到过往久远的信息循环神经网络03简单RNNLSTM网络Attention机制LSTM网络长短期记忆网络LSTM是一种特殊RNN，可以学习长期依赖关系链式重复模块神经网络结构：LSTM网络LSTM链重复模块结构：LSTM网络LSTM组成部件：单元状态LSTM网络门结构：σ层输出[0,1]，表示每个成分通过的程度0表示不让任何东西过，1表示让所有东西通过LSTM网络

LSTM网络

LSTM网络

LSTM网络

最终输出LSTM网络

窥孔连接（PeepholeConnection）LSTM网络

配对的遗忘门和输入门LSTM网络

GatedRecurrentUnit（GRU）LSTM网络

GRU特点：模型简化、参数较少、拟合能力较弱LSTM：具有较多参数和很强的拟合能力，适用于大规模和高度复杂的数据集LSTM的各种变形基本相同，不同的任务不同的变型有不同的表现循环神经网络03简单RNNLSTM网络Attention机制Attention机制

Attention机制的基本思想：打破传统编码器一解码器结构，在编码时依赖于内部固定长度向量的限制。Attention机制

Attention机制实现：①保留LSTM编码器输入序列的中间输出结果；②训练模型选择性地学习这些输入，并在模型输出时将输出序列与其关联。Attention机制

Attention应用：

文本翻译

图像描述

语义蕴含

语音识别

文本摘要Attention机制

文本翻译：当给定一个法语句子的输入序列，将它翻译并输出英文句子Attention机制用于观察输入序列中与输出序列每一个词相对应的具体单词：在生成目标词时，Attention机制让模型搜索一些输入单词或由编码器计算得到的单词标注，用于扩展基本的编码器一解码器结构Attention机制

图像描述：基于序列的Attention机制可以应用在计算机视觉问题上，来帮助输出序列更好地利用卷积神经网络来关注输入的图片的方法Attention机制用于关注与输出序列中的每一个词相关的局部图像Attention机制

语音识别：输入一个英文语音片段，输出一个音素序列Attention机制被用来关联输出序列中的每一个音素和输入序列中特定的语音帧Attention机制

文本摘要：输入一段文章，输出输