稀疏自动编码器-学习笔记教程文件

SparseAutoencoder稀疏(xīshū)自动编码器杨明洋，王鹏宇第一页，共26页。目录(mùlù)自动编码器神经网络中的损失函数以及残差稀疏(xīshū)自动编码器程序实现附录第二页，共26页。Autoencoder在讲稀疏自动编码器之前，我们先看看自动编码器。自动编码器，非监督模式识别，要求得到的输出近似于原始(yuánshǐ)输入，提取其主要特征第三页，共26页。Autoencoder如果我们输入一张10*10的图像，这样就有100个像素，所以输入层和输出层的节点数量就是100。而我们取隐藏层节点数量为25。这样就会迫使(pòshǐ)隐藏层节点学习得到输入数据的压缩表示方法，逼得隐藏层要用25维数据重构出100维的数据。这样也就完成了学习过程。第四页，共26页。神经网络的损失(sǔnshī)函数和残差定义：为第L层第j个单元的节点激活(jīhuó)量。为第L层的节点数目。具体表达式:其中f(x)函数为sigmoid函数或则为tanh(x)函数。当L=1时，为输入，即第五页，共26页。神经网络的损失(sǔnshī)函数和残差定义(dìngyì):为第L层节点j激活量的输入。具体表达式：=

最终的表达式就用，，以及偏置表示第六页，共26页。神经网络的损失(sǔnshī)函数和残差在逆向算法更新权值时，假设有一共m个训练(xùnliàn)集。定义：J(w,b)为损失函数，其中第一项称为平均平方和误差，第二项为调整项。第二项是为了减少权值的量级以及防止过度拟合。第七页，共26页。神经网络的损失(sǔnshī)函数和残差为了使J(w,b)这个包含W和b的函数最小化（误差最小），我们使用(shǐyòng)梯度下降法来进行求解。第八页，共26页。神经网络的损失(sǔnshī)函数和残差梯度下降法,基于这样的观察:如果实值函数F(x)在点a处可微且有定义,那么函数F(x)在a点沿着梯度相反的方向下降最快。如果对于γ>0为一个够小数值时成立，那么F(a)>F(b)。考虑到这一点，我们可以从函数F的局部极小值的初始估计x0出发，并考虑如下序列(xùliè)x1,x2,x3......使得因此可得到F(x0)>F(x1)>F(x2)>.....最终收敛.第九页，共26页。神经网络的损失(sǔnshī)函数和残差对于(duìyú)每一次迭代其中第十页，共26页。神经网络的损失(sǔnshī)函数和残差定义：为第L层的第i个节点对最终输出(shūchū)值的残差贡献值，称之为残差。计算方法：1.计算前向过程中的节点激活量2.计算最终层的残差,此时为输出(shūchū)。第十一页，共26页。神经网络的损失(sǔnshī)函数和残差3.根据上面的算式，让这个式子可以这么理解，对比最终层的节点误差，当括弧里的算子实际上是逆向算法，是最终层的残差与权重的乘积和即上图中的这个节点产生(chǎnshēng)的总残差.证明.第十二页，共26页。神经网络的损失(sǔnshī)函数和残差4.通过梯度(tīdù)下降法，求得证明第十三页，共26页。神经网络的损失(sǔnshī)函数和残差获得损失函数及其偏导数之后，便可以采用梯度下降法求网络最优化的参数，整个(zhěnggè)流程如下:第十四页，共26页。SparseAutoencoder自动编码器中当隐层节点数过少，隐层节点则需要对原始输入进行压缩，当输入为随机高斯序列的时候，对原始输入提取(tíqǔ)特征则会变得困难。如果隐藏层节点数量很大，甚至比输入层节点数量还要多时，我们仍然可以使用自编码算法，但是这时需要加入稀疏性限制。这就是稀疏自编码器。核心思想：将隐层进行约束，使其变得稀疏。第十五页，共26页。SparseAutoencoder定义：为隐含层节点j的平均激活量(也有的翻译为平均输出值)，也就是对应m个不同训练集的平均激活量。具体(jùtǐ)表达式：因为我们要让隐含层约束为稀疏的，那么当大多数的接近于0时(0.05)，大多数隐含节点变为非激活状态，整个隐含层变为稀疏。具体(jùtǐ)表现就是sigmoid函数的输出大多数状态是0，tanh函数的输出大多数状态是-1。这样有什么好处？这样能够迫使隐藏神经元发挥最大的潜力，在很不利的条件下学习到真正的特征。

第十六页，共26页。SparseAutoencoder为了迫使是接近于0，引入一个额外项KLdivergence(相对熵)来惩罚(chéngfá)偏离的情况。这里给定了为0.2，实际我们需要为更小的值。当为0.2时整个KL为0.第十七页，共26页。SparseAutoencoder于是损失函数就变为同时，残差也相对(xiāngduì)应更新为再优化网络参数，得到训练好的稀疏自动编码器第十八页，共26页。sigmoid函数(hánshù)与tanh(x)函数(hánshù)sigmoid函数(hánshù)tanh函数(hánshù)第十九页，共26页。残差的证明(zhèngmíng)1

返回(fǎnhuí)第二十页，共26页。残差证明(zhèngmíng)2

返回(fǎnhuí)第二十一页，共26页。最终(zuìzhōnɡ)推论第二十二页，共26页。最终(zuìzhōnɡ)推论第二十三页，共26页。