深度学习之自编码器_第1页
深度学习之自编码器_第2页
深度学习之自编码器_第3页
深度学习之自编码器_第4页
深度学习之自编码器_第5页
全文预览已结束

付费下载

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、深度学习之自编时间：2018-07-13 00:03:22阅读：1148评论：0：设定 收缩 个数inf strong 算法 idt sof收藏：0点我收藏+1、自编码的定义自编是一种数据的压缩算法，属于无监督学习，以自身 X 作为输出值，但输出值X 和自身 X 之间还是有一些差异的。自编也是一种有损压缩，可以通过使得损失函数最小，来实现 X 近似于 X 的值。简单的自编是一种三层的神经网络模型，包含数据输入层、隐藏层、输出重构层，同时也是一种无监督学习模型。从输入层到隐层称为编码过程，从隐层到输出层称为过程。自编码其就相当于自己生成，而且就是样本数据本身。三层自编码神经网络的模型如下：自编码

2、的两个过程1）输入层隐层的编码过程：2）隐层输出层的过程。这之间的压缩损失就是很多人在想自编码到底用，输入和输出都是本身，对于这样的操作有和意义，主要有两点：1）自编码可以实现非线性降维，只要设定输出层中神经元的个数小于输入层中神经元的个数就可以对数据集进行降维。反之，也可以将输出层神经元的个数设置为大于输入层神经元的个数，然后在损失函数构造上加入正则化项进行系数约束，这时就成了稀疏自编码。2）利用自编码来进行神经网络预训练。对于网络，通过随机初始化权重，然后用梯度下降来训练网络，很容易发生梯度。因此现在训练网络可行的方式都是先采用无监督学习来训练模型的参数，然后将这些参数作为初始化参数进行有

3、监督的训练。2、常见的自编1）欠完备自编欠完备自编就是将输出层中神经元的个数设置为小于输入层中神经元的个数，以达到非线性降维的效果（在神经网络的传递过程中由于激活函数的存在，因此是非线性的传递）2）稀疏自编稀疏自编码就是对隐层的神经元加入稀疏约束，以便约束隐层中神经元不为 0 的个数，希望达到用尽可能少的神经元来表示数据 X，以达到稀疏降维。稀疏自编码有加速网络训练的功能。3）收缩自编收缩自编码是在损失函数中加入一项平方 Frobenius 范数的正则项，其表达式如下4）栈式自编码栈式自编码主要是用来实现深度学习的无监督预训练的，其无监督预训练过程如下对于一个四层的神经网络首先采用稀疏自编，训练从输出层到H1 层的参数训练完毕之后去除层，接着把 H1 层的输出数据作为 H2 层的输入数据，然后进行自编码训练完之后去除H2 层的器。对于更的网络，依次去训练两层之间的参数，直达最后一层隐层，然后利用 sof

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论