【循环神经网络概述2200字】_第1页
【循环神经网络概述2200字】_第2页
【循环神经网络概述2200字】_第3页
【循环神经网络概述2200字】_第4页
【循环神经网络概述2200字】_第5页
已阅读5页，还剩2页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

循环神经网络概述循环神经网络概述 11.1.1循环神经网络架构 11.1.2长短时记忆网络(LSTM) 3循环神经网络(RecurrentNeuralNetwork,RNN),是一类通过隐藏层节点时还有之前时刻的输出。RNN会选择性地对历史特征进行遗忘或记忆，然后应1.1.1循环神经网络架构2-1所示，x代表输入层、s代表隐藏层的值，o代表输出层的值，x、S、o均是向量。U表示输入层到隐藏层的权重矩阵，V表示隐藏层到输出层的权重矩阵。在循环神经网络中，s不仅取决于x,还取决于上一次隐藏层的值，W则代表上一为了更清楚地理解RNN的结构，对上图依据时间序列进行展开，可以得到对于每一时刻t来说，x₁为输入的数据，st为隐藏层的Sr的值是由x₁和o₁共同来决定的，输出层和隐藏层的计算公式分别如式2-1和式上式中g(·)和f(·)均为激活函数。把式(2-2)重复代入式(2-1)的计算过程如式2-3所示：在一般的循环神经网络中，仅存在一个隐藏状态单元h,并且不同时刻隐藏状态单元的参数是共享的，即共享一组(U,W,V),无论循环神经网络有多和门限循环单元(GatedRecurrentUnit,GRU)[191。LSTM和GRU由于其独特的网络结构，能够有效地处理RNN训练时出现的梯度爆炸和梯度消失问题。输出门三种门结构来控制信息的流动。其内部结构如图2-3所示。C;ht时刻的即时记忆，ft表示t时刻神经元所要丢弃掉的旧信息，it表示t时刻神经函数的值域为(0,1),当其值接近于0时丢弃一部分信息，当其值等于0时表示完全舍弃，当其值接近于1时，表示完全保留，如式2-4所示。进行。一是sigmoid层作为“输入门”层会根据前一个时

人人文库> 全部分类> 教育资料 > 中学教育

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论