8.2 循环神经网络

高超

北京工商大学计算机与人工智能学院

神经网络理论及应用：循环神经网络循环神经网络(RNN)2026/10/11BTBU-CIE21.循环神经网络的设计模式2.双向循环神经网络3.深度循环神经网络循环神经网络的设计模式2026/10/11BTBU-CIE3模式1：循环神经网络的输入为序列，输出为等长序列

循环神经网络的设计模式2026/10/11BTBU-CIE4模式2：循环神经网络的输入为序列，输出为不等长序列循环神经网络的设计模式2026/10/11BTBU-CIE5模式3：循环神经网络的输入为序列，输出为固定大小的向量循环神经网络的设计模式2026/10/11BTBU-CIE6模式4：循环神经网络的输入为固定大小的向量，输出为序列循环神经网络的设计模式2026/10/11BTBU-CIE7四种设计模式的输入输出形式：设计模式输入形式输出形式模式1序列等长序列模式2序列不等长序列模式3序列向量模式4向量序列循环神经网络的设计模式2026/10/11BTBU-CIE8基于模式1的RNN前向传播公式：

双向循环神经网络2026/10/11BTBU-CIE9单向RNN：时刻t的输出y(t)只能从过去的序列x(1),…,x(t-1)以及当前的输入x(t)

中捕获信息存在的问题：输出的y(t)可能依赖于整个输入序列。例如，在语音识别中，由于协同发音，当前声音作为音素的正确解释可能取决于未来几个音素，甚至潜在的可能取决于未来的几个词，因为词与附近的词之间的存在语义依赖例如：小明今天去学校报道/报到新闻了

双向循环神经网络2026/10/11BTBU-CIE10双向RNN：结合时间上从序列起点开始移动的RNN和另一个时间上从序列末尾开始移动的RNN总结：相对于单向RNN，双向RNN多了一个向后移动的隐藏单元

双向循环神经网络2026/10/11BTBU-CIE11思维拓展：如何利用RNN解决二维输入问题，例如图像？p(1,1)…p(1,j)…p(1,n)………p(i,1)…p(i,j)…p(i,n)………p(m,1)…p(m,j)…p(m,n)解决方案：四个RNN分别沿着上、下、左、右四个方向进行计算，那么对于在二维网格中每个像素点的输出p(i,j)，通过训练能够得到一个包含大多局部信息，但仍依赖于长期输入的表示像素：m×n深度循环神经网络2026/10/11BTBU-CIE12浅层RNN：只有一层隐藏单元，因此只能实现简单的映射关系，难以解决具有复杂映射关系的问题深度RNN：在输入层、隐藏层、输出层之间引入更深的计算网络，从而实现相对复杂的映射关系深度循环神经网络2026/10/11BTBU-CIE13(a)隐藏循环状态被分解为具有层次的组(b)在输入到隐藏、隐藏到隐藏以及隐藏到输出的部分引入更深的计算(如多层感知机)(c)引入跳跃连接来缓解路径延长的效应小结2026/10/11BTBU-CIE141.循环神经网络的设计模式：基于模型的输入输出形式2.双向循环神经网络：解决序列数据的前后依赖问题3.深度循环神经网络：实现更为复杂的映射关系致