神经网络理论及应用实践 课件 第8章循环神经网络

神经网络理论及应用：初识循环神经网络初识循环神经网络2026/10/11BTBU-CIE21.循环神经网络的应用对象2.循环神经网络的模型优势3.循环神经网络的可视化方法循环神经网络的应用对象2026/10/11BTBU-CIE3循环神经网络是专门用于处理序列数据x(1),…,x(τ)

的神经网络，主要的应用对象包括：时间序列文本序列语音序列像素序列循环神经网络的应用对象：时间序列2026/10/11BTBU-CIE4时间序列：最小步长为数据的单个统计周期，左图最小步长为1个月，右图最小步长为1小时循环神经网络的应用对象：文本序列2026/10/11BTBU-CIE5文本序列：最小步长为单个词，中文需要复杂的分词技术进行划分，英文通常以空格划分即可我爱中国

[我，爱，中国]

Ilove

China[I，love，China]

循环神经网络的应用对象：语音序列2026/10/11BTBU-CIE6语音序列：最小步长为单个帧，需要采用窗函数进行分帧，相邻两帧之间存在帧移循环神经网络的应用对象：像素序列2026/10/11BTBU-CIE7像素序列：最小步长为单个像素，二维像素矩阵按行或列展开即可得到一个像素序列[28,28]12…783784按行展开按列展开12…783784循环神经网络的模型优势2026/10/11BTBU-CIE8循环神经网络的优势：时空特征参数共享循环神经网络的模型优势：时空特征2026/10/11BTBU-CIE9x1…xnx1t-m…xnt-m………x1t-1…xnt-1空间维度特征信息空间维度特征信息时间维度步长信息传统神经网络的输入形式：循环神经网络的输入形式：循环神经网络的模型优势：参数共享2026/10/11BTBU-CIE10参数共享：在减少训练参数的同时，使得模型能够扩展到不同形式的样本（这里指不同长度的样本）并进行泛化例如：在以下两个句子中，尽管文本序列长度不同，“中国”出现的位置不同，由于参数共享，循环神经网络仍能够识别出不同位置的“中国”我爱中国中国，你是我的骄傲循环神经网络的可视化方法2026/10/11BTBU-CIE11参数共享：体现在每个时间步中使用的相同卷积核，输出的每一项是前一项的函数，输出的每一项对先前的输出应用相同的更新规则而产生，这种循环方式导致参数通过很深的计算图共享计算图：是一种将计算形式转化为图形的方法，可将循环神经网络进行可视化，是学习循环神经网络的预备知识循环神经网络的可视化方法：计算图2026/10/11BTBU-CIE12计算图：由节点和操作两个基本要素组成节点：表示变量，可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量操作：表示具有一个或多个变量的简单函数，将多个操作复合在一起可用来描述更为复杂的函数如果输出变量y是输入变量x通过一个操作计算得到的，那么我们画一条从x到y的有向边，并且一般用操作的名称来注释输出的节点循环神经网络的可视化方法：计算图2026/10/11BTBU-CIE13

循环神经网络的可视化方法：计算图2026/10/11BTBU-CIE14循环神经网络的隐藏单元：(a)循环计算图(b)展开计算图

小结2026/10/11BTBU-CIE151.循环神经网络的应用对象：时间、文本、语音、像素序列2.循环神经网络的模型优势：时空特征和参数共享3.循环神经网络的可视化方法：计算图致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE16高超

北京工商大学计算机与人工智能学院

神经网络理论及应用：循环神经网络循环神经网络(RNN)2026/10/11BTBU-CIE181.循环神经网络的设计模式2.双向循环神经网络3.深度循环神经网络循环神经网络的设计模式2026/10/11BTBU-CIE19模式1：循环神经网络的输入为序列，输出为等长序列

循环神经网络的设计模式2026/10/11BTBU-CIE20模式2：循环神经网络的输入为序列，输出为不等长序列循环神经网络的设计模式2026/10/11BTBU-CIE21模式3：循环神经网络的输入为序列，输出为固定大小的向量循环神经网络的设计模式2026/10/11BTBU-CIE22模式4：循环神经网络的输入为固定大小的向量，输出为序列循环神经网络的设计模式2026/10/11BTBU-CIE23四种设计模式的输入输出形式：设计模式输入形式输出形式模式1序列等长序列模式2序列不等长序列模式3序列向量模式4向量序列循环神经网络的设计模式2026/10/11BTBU-CIE24基于模式1的RNN前向传播公式：

双向循环神经网络2026/10/11BTBU-CIE25单向RNN：时刻t的输出y(t)只能从过去的序列x(1),…,x(t-1)以及当前的输入x(t)

中捕获信息存在的问题：输出的y(t)可能依赖于整个输入序列。例如，在语音识别中，由于协同发音，当前声音作为音素的正确解释可能取决于未来几个音素，甚至潜在的可能取决于未来的几个词，因为词与附近的词之间的存在语义依赖例如：小明今天去学校报道/报到新闻了

双向循环神经网络2026/10/11BTBU-CIE26双向RNN：结合时间上从序列起点开始移动的RNN和另一个时间上从序列末尾开始移动的RNN总结：相对于单向RNN，双向RNN多了一个向后移动的隐藏单元

双向循环神经网络2026/10/11BTBU-CIE27思维拓展：如何利用RNN解决二维输入问题，例如图像？p(1,1)…p(1,j)…p(1,n)………p(i,1)…p(i,j)…p(i,n)………p(m,1)…p(m,j)…p(m,n)解决方案：四个RNN分别沿着上、下、左、右四个方向进行计算，那么对于在二维网格中每个像素点的输出p(i,j)，通过训练能够得到一个包含大多局部信息，但仍依赖于长期输入的表示像素：m×n深度循环神经网络2026/10/11BTBU-CIE28浅层RNN：只有一层隐藏单元，因此只能实现简单的映射关系，难以解决具有复杂映射关系的问题深度RNN：在输入层、隐藏层、输出层之间引入更深的计算网络，从而实现相对复杂的映射关系深度循环神经网络2026/10/11BTBU-CIE29(a)隐藏循环状态被分解为具有层次的组(b)在输入到隐藏、隐藏到隐藏以及隐藏到输出的部分引入更深的计算(如多层感知机)(c)引入跳跃连接来缓解路径延长的效应小结2026/10/11BTBU-CIE301.循环神经网络的设计模式：基于模型的输入输出形式2.双向循环神经网络：解决序列数据的前后依赖问题3.深度循环神经网络：实现更为复杂的映射关系致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE31高超

北京工商大学计算机与人工智能学院

神经网络理论及应用：长短时记忆网络长短时记忆网络(LSTM)2026/10/11BTBU-CIE33梯度消失：RNN表示长期依赖时，相对于短期相互作用的梯度幅值，长期相互作用的梯度幅值就会变得指数小，导致较长的记忆无法产生作用。解决方案：对RNN的隐藏单元进行改造，并引入门控，保留有用的记忆信息，截断无用的记忆信息，即为长短时记忆网络(LSTM)长短时记忆网络(LSTM)2026/10/11BTBU-CIE341.标准的长短时记忆网络2.长短时记忆网络的变体(门控循环单元，GRU)标准的长短时记忆网络2026/10/11BTBU-CIE35输入门：输入到细胞之间，控制输入权重遗忘门：细胞内部，控制遗忘权重输出门：细胞到输出之间，控制输出权重标准的长短时记忆网络2026/10/11BTBU-CIE36标准的长短时记忆网络2026/10/11BTBU-CIE37LSTM关键要素：细胞状态，其类似于传送带，直接在整个链上运行，只有一些少量的线性交互。标准的长短时记忆网络2026/10/11BTBU-CIE38细胞状态控制方式：门控，包括一个sigmoid神经网络层和一个乘法操作Sigmoid：输出0~1之间的概率值，0表示不允许任何量通过，1表示允许任意量通过标准的长短时记忆网络2026/10/11BTBU-CIE39遗忘门：决定从细胞状态中丢弃什么信息控制函数：

标准的长短时记忆网络2026/10/11BTBU-CIE40输入门：决定放什么新信息到细胞状态中控制函数：

标准的长短时记忆网络2026/10/11BTBU-CIE41控制函数：

标准的长短时记忆网络2026/10/11BTBU-CIE42输出门：决定输出细胞状态的哪些信息控制函数：

输出函数：门控循环单元2026/10/11BTBU-CIE43GRU单元结构门控循环单元2026/10/11BTBU-CIE44重置门:控制前一时刻的隐藏状态信息被写入到当前时刻候选隐藏状态上的程度控制函数：

门控循环单元2026/10/11BTBU-CIE45更新门:控制前一时刻的隐藏状态信息被写入到当前时刻隐藏状态上的程度控制函数：

门控循环单元2026/10/11BTBU-CIE46

LSTM和GRU对比分析2026/10/11BTBU-CIE47在结构上，LSTM有3个控制门，而GRU只有2个控制门，LSTM没有直接输出隐藏状态，而GRU直接输出隐藏状态。在性能上，GRU参数更少，因此更容易收敛，但是在数据集很大的情况下，LSTM的表达性能更好。小结2026/10/11BTBU-CIE481.标准的长短时记忆网络：缓解梯度消失问题2.门控循环单元：优化网络结构致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE49高超

北京工商大学计算机与人工智能学院

神经网络理论及应用：LSTM回归应用案例LSTM回归应用案例2026/10/11BTBU-CIE51回归：假定LSTM最后一层有m个神经元，每个神经元输出一个标量，m个神经元的输出可以看作向量v，现将这m个神经元全部连接到一个线性神经元上，则这个神经元的输出为wv+b，是一个连续值，因而可以处理回归问题LSTM回归应用案例2026/10/11BTBU-CIE52数据预处理构建训练LSTM模型评价LSTM模型LSTM回归应用案例2026/10/11BTBU-CIE531.单变量时间序列预测问题2.多变量时间序列预测问题单变量时间序列预测问题2026/10/11BTBU-CIE54案例一：给定1949年1月到1960年12月（总计12年）之间每月国际航班乘客数量（单位为千人），总共144条观测数据，使用该数据集建立LSTM模型，并对每月的国际航班乘客数量进行预测。第一年12个月的数据集：月份(t)123456789101112乘客数(x)112118132129121135148148136119104118单变量时间序列预测问题2026/10/11BTBU-CIE55数据预处理：数据归一化处理（0~1）数据集划分：前67%为训练集，后33%为测试集生成样本集：假定单个样本为[X，Y]，X为模型输入，大小为[时间步长，输入维度]，是一个可调节的变量；Y为模型输出，大小为1，即为当前月份国际航班乘客数量单变量时间序列预测问题2026/10/11BTBU-CIE56单步长单维度LSTM：时间步长为1，输入维度为1，X[1,1]XY[xt-1][xt]XY[112][118][118][132][132][129]样本集实例计算图单变量时间序列预测问题2026/10/11BTBU-CIE57单步长多维度LSTM：时间步长为1，输入维度为3，X[1,3]XY[xt-3,xt-2,xt-1][xt]XY[112,118,132]129[118,132,129]121[132,129,121]135样本集实例计算图单变量时间序列预测问题2026/10/11BTBU-CIE58多步长单维度LSTM：时间步长为3，输入维度为1，X[3,1]XY[xt-3；xt-2；xt-1][xt]XY[112；118；132]129计算图样本集实例单变量时间序列预测问题2026/10/11BTBU-CIE59构建和训练LSTM模型：单变量时间序列预测问题2026/10/11BTBU-CIE60评价LSTM模型：单步长单维度LSTM模型训练集RMSE:

22.93测试集RMSE:47.53单变量时间序列预测问题2026/10/11BTBU-CIE61评价LSTM模型：单步长多维度LSTM模型训练集RMSE:

24.19测试集RMSE:58.03单变量时间序列预测问题2026/10/11BTBU-CIE62评价LSTM模型：多步长单维度LSTM模型训练集RMSE:

23.69测试集RMSE:58.88单变量时间序列预测问题2026/10/11BTBU-CIE63评价LSTM模型：对比以上3个LSTM模型可知，通过增加时间步长或输入维度可以引入更多的历史信息，但是增加历史信息的输入不一定能够有效地提高模型的预测精度，反而会加大模型的复杂度。因此，针对不同的问题，应该通过实验的方法去选择合适时间步长或输入维度。多变量时间序列预测问题2026/10/11BTBU-CIE64案例二：给定2010年至2014年共5年间美国驻北京大使馆每小时采集的天气和空气污染指数，使用该数据集建立LSTM模型，并对每小时的空气污染指数进行预测。数据集格式：var1var2var3var4var5var6var7var8时间PM2.5露点温度大气压风向风速累计雪量累计雨量2010/1/2

0:00129-16-41020SE1.79002010/1/2

1:00148-15-41020SE2.68002010/1/2

2:00159-11-51021SE3.57002010/1/2

3:00181-7-51022SE5.36102010/1/2

4:00138-7-51022SE6.2520多变量时间序列预测问题2026/10/11BTBU-CIE65数据预处理：数据归一化处理（0~1）:风向（整数编码）数据集划分：前1年为训练集，后3年为测试集生成样本集：假定单个样本为[X，Y]，X为模型输入，大小为[时间步长，输入维度]，是一个可调节的变量；Y为模型输出，大小为1，即为当前时刻空气污染指数多变量时间序列预测问题2026/10/11BTBU-CIE66单步长多维度LSTM：时间步长为1，输入维度为8，X[1,8]XY[var1t-1,…,var8t-1][var1t]XY[129,-16,-4,1024,SE,1.79,0,0]148[148,-15,-4,1024,SE,2.68,0,0]159[159,-11,-5,1021,SE,3.57,0,0]181样本集计算图实例多变量时间序列预测问题2026/10/11BTBU-CIE67多步长多维度LSTM：时间步长为3，输入维度为8，X[3,8]XY[var1t-3,…,var8t-3；var1t-2,…,var8t-2；var1t-1,…,var8t-1][var1t]XY[129,-16,-4,1024,SE,1.79,0,0；148,-15,-4,1024,SE,2.68,0,0；159,-11,-5,1021,SE,3.57,0,0]181样本集实例多变量时间序列预测问题2026/10/11BTBU-CIE68多步长多维度LSTM：时间步长为3，输入维度为8，X[3,8]计算图多变量时间序列预测问题2026/10/11BTBU-CIE69构建和训练LSTM模型：多变量时间序列预测问题2026/10/11BTBU-CIE70评价LSTM模型：单步长多维度LSTM模型测试集RMSE:26.496多步长多维度LSTM模型测试集RMSE:27.177小结2026/10/11BTBU-CIE711.单变量时间序列预测问题：样本特征为1维2.多变量时间序列预测问题：样本特征为多维致谢本课程所引用的一些素材来源于多种媒体及同事和同行的交流，难以一一注明出处，特此说明并表示感谢！

2026/10/11BTBU-CIE72高超

北京工商大学计算机与人工智能学院

神经网络理论及应用：LSTM分类应用案例LSTM分类应用案例2026/10/11BTBU-CIE74分类：假定LSTM最后一层有m个神经元，每个神经元输出一个标量，m个神经元的输出可以看作向量v，现将这m个神经元全部连接到N个线性神经元上，则有N组w、b值不同的wv+b，最后可以通过归一化函数（例如softmax）输出N个类上的概率p，该输出是一个离散值，因而可以处理分类问题LSTM分类应用案例2026/10/11BTBU-CIE75数据预处理构建训练LSTM模型评价LSTM模型LSTM分类应用案例2026/10/11BTBU-CIE761.图像识别问题2.文本分类问题图像识别问题2026/10/11BTBU-CIE77案例一：针对mnist手写数字数据库，建立LSTM模型对0~9之间的手写数字进行识别。[28,28]图像识别问题2026/10/11BTBU-CIE78解析mnist数据库：[images,labels]=load_mnist()images[70000,784]：其中行数代表样本数，列数代表特征数，该数据库总共有70000张图片，每张图片有784个像素点，每个像素点的灰度值在0~255之间labels[70000,10]：其中行数代表样本数，列数代表标签数，该数据库用1×10的行向量表示0~9中的10个标签，向量的非零位即为该向量对应的标签。例如：[1000000000]→0[0000001000]→6[0000000001]→9图像识别问题2026/10/11BTBU-CIE79数据预处理：数据归一化处理（0~1）数据集划分：前60000为训练集，后10000为测试集生成样本集：假定单个样本为[X，Y]，X为模型输入，大小为[28,28]，即时间步长和输入维度均为28；Y为模型输出，大小为[1,10]，即为当前输入图片对应的数字标签图像识别问题2026/10/11BTBU-CIE80多步长多维度LSTM：时间步长和输入维度为28，X[28,28]12…27282930…5556……………729730…755756757758…783784xt-27xt-26xt-1xtXt-27[1,28]：表示图片首行的行向量Xt[1,28]：表示图片末行的行向量X图像识别问题2026/10/11BTBU-CIE81构建和训练LSTM模型：图像识别问题2026/10/11BTBU-CIE82评价LSTM模型：28×28LSTM模型测试集分类准确率:98.56%28×42LSTM模型测试集分类准确率:98.39%文本分类问题2026/10/11BTBU-CIE83案例二：给定25000条英文电影评价，建立LSTM模型对所有影评进行3分类，分别为正面、中立和负面评价。数据预处理：文本序列的向量化：包括分词和词嵌入，英文一般先采用空格