人工智能基础与实践 第7章 循环神经网络I

教育部教育部-华为智能基座课程章节目录02循环神经网络（RecurrentNeuralNetwork）03随时间反向传播（BPTT）04双向循环神经网络章节目录02循环神经网络（RecurrentNeuralNetwork）03随时间反向传播（BPTT）04双向循环神经网络网络记忆能力•全连接神经网络和卷积神经网络•某些任务需要能够更好的处理序列的信息理解这句话的每个词是不够的，需要处理这些词连接起来的网络记忆能力我昨天上学迟到了，老师批评了。网络记忆能力模型的大小和N的关系是指数级的，会占用海7网络记忆能力到达时间：2022.08.02李宏毅-机器学习-RNN.tw/~tlkagk/c网络记忆能力网络记忆能力网络记忆能力因此，我们希望神经网络拥有“记忆”（m邱锡鹏.《神经网络和深度学习》网络记忆能力网络记忆能力）：其中f(.)表示非线性函数，可以是一个前馈网络，Kx和Ky为超参数．章节目录02循环神经网络（RecurrentNeuralNetwork）03随时间反向传播（BPTT）04双向循环神经网络循环神经网络（RNN）一个简单的循环神经网络由输入层、一个隐藏层循环神经网络（RNN）循环神经网络（RNN）网络在t时刻接收到输入xt之后，隐藏层的值是st，输出值是ot。st的值不仅仅取决于xt，还取决于st-1。循环神经网络的计算：ot=g(vst)st=f(uxt+wst-1)循环神经网络（RNN）ot=g(vst)st=f(uxt+wst-1)），循环神经网络（RNN）•如何将可变长度序列作为输入？•如何预测可变长度序列作为输出？循环神经网络（RNN）神经网络模型通过训练“学”到的东西蕴含在“权值”中。基础的神经网络只在层与层之间建立权连接，而RNN最大的不同之处在循环神经网络（RNN）Many-to-One模型循环神经网络（RNN）One-to-Many模型循环神经网络（RNN）Many-to-Many模型循环神经网络（RNN）Many-to-Many模型输入和输出的序列个数不同，如机器翻译中，源语言和目标语言的循环神经网络（RNN）循环神经网络（RNN）循环神经网络（RNN）循环神经网络（RNN）循环神经网络（RNN）章节目录02循环神经网络（RecurrentNeuralNetwork）03随时间反向传播（BPTT）04双向循环神经网络随时间反向传播（BPTT）•BPTT（Back-PropagationThroughTime）算法是常用的训练•BPTT的中心思想是沿着需要优化的参数的负梯度方向不断寻找更优•BPTT算法本质上还是BP算法，BP算法本质是梯度下降法，那么求随时间反向传播（BPTT）需要寻优的参数有三个，分别是U、V、W。与BP算法不同的是，权重矩阵W和U的寻优过程需要追溯之前的历史数据（BPTT算法的重点）。随时间反向传播（BPTT）BPTT算法是针对循环层的训练算法，它的基本原理和BP算法是一样的，2.反向计算每个神经元的误差项δ丿值，它是误差函数E对神经元j的加RNN的循环层随时间反向传播（BPTT）注意，上面的st、xt、st-1都是向量，用黑体字母表示；而U、W是矩阵，用大写字母表示。向量的下标表示时刻，例如，st表示在t时刻向量s的值。随时间反向传播（BPTT）随时间反向传播（BPTT）另一个方向是将其沿时间线传递到初始t1时刻，得到δ，随时间反向传播（BPTT）用a表示列向量，用a$表示行向量，上式的第一项是向量函数对向量求导，其结果随时间反向传播（BPTT）随时间反向传播（BPTT）随时间反向传播（BPTT）刻k的误差项δ%随时间反向传播（BPTT）循环层将误差项反向传递到上一层网络，与普通的全连循环层的加权输入"etl与上一层的加权输入"etl__1关系如下：上式中的"et是第l层神经元的加权输入（假设第l层是循环层）；"et__1是第l__1层神经元的加权输入；a__1是第l__1层神经元的输出；fl__1是第l__1层的随时间反向传播（BPTT）随时间反向传播（BPTT）BPTT算法的最后一步：计算每个权重的梯度.随时间反向传播（BPTT）前两步中已经计算得到的量包括每个时刻t循环层的输出值st，以及误差项δt。求得任意一个时刻的误差项δt，以及上一个时刻循环层的输出值st-1，就可以按照随时间反向传播（BPTT）.随时间反向传播（BPTT）因为对W求导与uxt无关，因此不再考虑。现在考虑对权重项”ji求导。通过观察上式可以看到”ji只与"et有关，所以：随时间反向传播（BPTT）求得了权重矩阵W在t时刻的梯度▽wtE，最终的梯度▽WE是各个时刻的梯度之和：式6就是计算循环层权重矩阵W的梯度的公式.随时间反向传播（BPTT）因为uxt与W完全无关，可以把它看做常量。现在，考虑第一个式子加号右边的部分，因为W和f(nett-1)都是W的函数，因此要用到导数乘法运算：随时间反向传播（BPTT）)E：随时间反向传播（BPTT）随时间反向传播（BPTT）接下来，因为st-1=f(nett-1)，它是一个列向量。让上面的四维张量与这个向量相乘，得到了一随时间反向传播（BPTT）随时间反向传播（BPTT）随时间反向传播（BPTT）式8是误差函数在t时刻对权重矩阵U的梯度。和权重矩阵随时间反向传播（BPTT）参数V相对简单，只需关注目前的状态。另外，RNN的损失也是会随着时间累加的，所以不能章节目录02循环神经网络（RecurrentNeuralNetwork）03随时间反向传播（BPTT）04双向循环神经网络双向循环神经网络如果我们只看横线前面的词，手机坏了，那么我是打在此任务中，可以增加一个按照时间的逆序来传递信息双向循环神经网络基本循环神经网络无法对此进行建模，因此，需要双向循环神经网络，双向循环神经网络由两层循环神经网络组成，它们的输入相同，只是双向循环神经网络另一个值A’参与反向计算。最终的输出值取决于A和A’。其计算方）