8.1 初识循环神经网络

高超

北京工商大学计算机与人工智能学院

神经网络理论及应用：初识循环神经网络初识循环神经网络2026/10/11BTBU-CIE21.循环神经网络的应用对象2.循环神经网络的模型优势3.循环神经网络的可视化方法循环神经网络的应用对象2026/10/11BTBU-CIE3循环神经网络是专门用于处理序列数据x(1),…,x(τ)

的神经网络，主要的应用对象包括：时间序列文本序列语音序列像素序列循环神经网络的应用对象：时间序列2026/10/11BTBU-CIE4时间序列：最小步长为数据的单个统计周期，左图最小步长为1个月，右图最小步长为1小时循环神经网络的应用对象：文本序列2026/10/11BTBU-CIE5文本序列：最小步长为单个词，中文需要复杂的分词技术进行划分，英文通常以空格划分即可我爱中国

[我，爱，中国]

Ilove

China[I，love，China]

循环神经网络的应用对象：语音序列2026/10/11BTBU-CIE6语音序列：最小步长为单个帧，需要采用窗函数进行分帧，相邻两帧之间存在帧移循环神经网络的应用对象：像素序列2026/10/11BTBU-CIE7像素序列：最小步长为单个像素，二维像素矩阵按行或列展开即可得到一个像素序列[28,28]12…783784按行展开按列展开12…783784循环神经网络的模型优势2026/10/11BTBU-CIE8循环神经网络的优势：时空特征参数共享循环神经网络的模型优势：时空特征2026/10/11BTBU-CIE9x1…xnx1t-m…xnt-m………x1t-1…xnt-1空间维度特征信息空间维度特征信息时间维度步长信息传统神经网络的输入形式：循环神经网络的输入形式：循环神经网络的模型优势：参数共享2026/10/11BTBU-CIE10参数共享：在减少训练参数的同时，使得模型能够扩展到不同形式的样本（这里指不同长度的样本）并进行泛化例如：在以下两个句子中，尽管文本序列长度不同，“中国”出现的位置不同，由于参数共享，循环神经网络仍能够识别出不同位置的“中国”我爱中国中国，你是我的骄傲循环神经网络的可视化方法2026/10/11BTBU-CIE11参数共享：体现在每个时间步中使用的相同卷积核，输出的每一项是前一项的函数，输出的每一项对先前的输出应用相同的更新规则而产生，这种循环方式导致参数通过很深的计算图共享计算图：是一种将计算形式转化为图形的方法，可将循环神经网络进行可视化，是学习循环神经网络的预备知识循环神经网络的可视化方法：计算图2026/10/11BTBU-CIE12计算图：由节点和操作两个基本要素组成节点：表示变量，可以是标量、向量、矩阵、张量、或者甚至是另一类型的变量操作：表示具有一个或多个变量的简单函数，将多个操作复合在一起可用来描述更为复杂的函数如果输出变量y是输入变量x通过一个操作计算得到的，那么我们画一条从x到y的有向边，并且一般用操作的名称来注释输出的节点循环神经网络的可视化方法：计算图2026/10/11BTBU-CIE13

循环神经网络的可视化方法：计算图2026/10/11BTBU-CIE14循环神经网络的隐藏单元：(a)循环计算图(b)展开计算图

小结2026/10/11BTBU-CIE151.循环神经网络的应用对象：时间、文本、语音、像素序列2.循环神经网络的模型优势：时空特征和参数共享3.循环神经网络的可视化方法：