【自编码器主要算法及模型分析概述2800字】

自编码器主要算法及模型分析概述 1 1 1 2 2 3 4 4 5 6 6 71.1模型结构1.1.1传统自编码器传统自编码器错误!未找到引用源。通过神经网络来实现，通过学习恒等函数完全可以实现输入于输出尽量相同的目的，如图3-1,但是我们只在意输入到输出的恒等encode1.1.2栈式自编码器传统自编码器或许可以理解为强化版的PCA,只进行了一次使用，并不能起到很大作用，栈式自编码器错误!未找到引用源。相当于对传统自编码器进行了“迭代-更新“的升级，如图3-2,在非监督网络学习中，每个编码器的参数只收到当前层输入的限制，所以当前编码器i可以在训练完直接传递给当前层i,根据优势参数的原理，将提取出来的数据传到下一层i+1,这样不断训练下去，i+1层得到的永远是i层提取出来的“精华”,效益提高非常明显。这种模型比传统自编码器更具深度，所以又可以被称作深度自编码器。1.1.3稀疏自编码器神经网络含有大量的神经元，而当隐藏层存在较多神经元时，为了能够继续提取样本的特征，稀疏自编码器错误!未找到引用源。在普通的自编码器的基础上，增加了稀疏的约束。前面我们已经提到过对稀疏性的理解，是激活或者抑制的状态，而这里的稀疏性是指对隐藏层进行激活的惩罚项，而并不是输出值。而稀疏自编码器的核心，图3-3是对自编码器加入稀疏惩罚项：去噪自编码器(DAE)错误!未找到引用源。,首先基于传统自编码器注入高斯白噪声，制，而为了避免这种情况出现，便产生了噪声引入的思想，进而也有了DAE这由输入样本映射，而是由“腐蚀”版本映射。DAE将随机选择原始输入样本中的元素，然后进行置0操作，其余元素不做理会，这就是“腐蚀”的过程，也就是在原始的数据中加入了一些空白的元素，原始数据包含的信息就会减少。而DAE要学习的，首先输入空白信息，学习获取特定的数据结构，使得最终所得图3-4是DAE预处理数据的一种过程图示：yyO文X1.1.5卷积自编码器卷积自编码器[101是用卷积层而不是完全连接层来最小化由输入对象通过降采样提供的维度隐藏表示。卷积过程如图3-5所示，对于一个二维平面图形，先将其填充成一个了一个有厚度的方体，再提取出一块像素块的长方体，和另一个长度更长的像素块的长方体，再有中间部分的隐藏层的神经元传递，而后在经过反卷积、反池化等解码重构过程，将三个立方体进行展平，最后变回平面图形。h图3-6为各模型之间的联系与区别：(1)不难看出，栈式自编码器还基于传统自编码器，一些神经层可以添加到隐(2)稀疏自编码器通过进一步向隐藏层添加解析，引入稀疏性限制，以更高的(3)去噪自编码器的思想又进一步的完善对特征的提取，通过对在输入层注入噪声对数据元素随机置0,先逼迫自编码器去学习填补空白，然后再通过学习去(5)卷积层的应用可以基于自编码器和解析自编码器的噪声消除来实现，并且1.3激活函数是因为很多激活函数的叠加。没有激活函数的神经网络Sigmoid错误!未找到引用源。是最广泛使用且具有最接近生物神经元的物理意义的非线性激活函数，如图3-7的函数图，两侧倒数逐渐趋于0,近似于“杀死”梯度，但是Sigmoid函数也有其自身的缺陷，比如饱和性，即当神经tanh¹1双曲正切是双曲函数中的一个，读作HyperbolicTangent,关于原点中心对称，是Sigmoid的一种变体形式，与Sigmoid对比，其输出值均为0,收敛速度比Sigmoid函数快，迭代次数少，但是仍有饱和性的问题，其公式为：函数表达式如图3-8所示：也是非线性函数，其特点为无饱和区，收敛快，计算形式简单等，但在变量更新过快时会较为脆弱，容易找不到最佳值，在小于零的分段函数内又会“杀死”梯度。ReLU函数是目前使用度最为广等函数，能够解决梯度等弥散问题，其公式函数图像如图3-9所示：1.1.4优缺点对比Sigmoid在神经网络层数较少时，能够很好地对神经元在收到激励时是否被激活以及向下一层传递的情况(为1时完全激活，为0时几乎不被激活),但是，在深化神经网络层的使用过程中，其产生梯度弥散和梯度爆炸的可能性也随之增大，梯度爆炸尤甚。tanh函数的梯度消失问题比Sigmoid轻，梯度消失过快，函数的收敛速度变慢。Sigmoid函数不是以零为中心，输出值恒为正，而tanh解决了这一问题，参数更新速度要更快一些。ReLU函数的优点是梯度简单，计算简单，只需对输入是否大于0进行判断，就可以大大提高