机器学习方法与实践 课件自动编码器

无监督深度学习模型：自动编码器Auto-EncoderBeijingJiaotong

University什么是自动编码器自动编码器是一种无监督的数据维度压缩和数据特征表达方法。在大部分提到自动编码器的场合，压缩和解压缩的函数是通过神经网络实现的。其也常被用于自监督的深度学习模型。自动编码器通常包含一个编码器和一个解码器什么是自动编码器编码器负责对输入数据进行“压缩”，得到一个尺寸远小于输入数据的特征图或者特征向量解码器负责将编码器压缩好的数据进行“解压缩”，实现对输入数据的还原自动编码器的应用领域自动编码器在CV领域和NLP领域都有广泛应用。包括但不限于：在CV/NLP领域的大规模预训练数据压缩、数据降噪异常检测数据自动生成大规模预训练矛盾：大部分深度学习任务需要有标签数据进行训练，如分类、检测、分割，训练深度模型需要大量的数据，而有标签数据往往是极少量的，无标签数据却很充足。解决方案：利用自动编码器可以进行无监督训练的能力，先在大规模无标签数据上训练自动编码器，然后将自动编码器的编码器部分作为特征提取器，在少量的有标签数据上进行微调，实现需要的下游任务原理：经过训练后，解码器的输出能够非常接近输入数据，说明编码器部分输出的压缩后的特征图，保留了输入数据中的关键信息，是对输入数据很好的一个特征表示大规模预训练应用案例：BertBert是一个NLP模型，采用Encoder-Decoder架构，设计了独特的预训练任务，在多种NLP任务上达成了SOTA表现，并在机器阅读理解顶级水平测试SQuAD1.1中超越了人类的表现Bert的预训练方式：对于一段文本，在输入Bert前，随机mask掉文本中的某些单词，然后，让Bert预测被mask掉的单词是什么，从而实现大规模无监督预训练数据降噪自动编码器的Encoder部分，在压缩输入数据的过程中，为了能让解码器尽可能的还原输出数据，会尽可能地学习、保留输入数据中有用的部分，或者说信号的部分，而自动的舍弃掉噪声的部分，从而实现数据降噪（包括图像降噪、图像去雾，等功能）异常检测基本原理：自动编码器通过对大量正常数据的学习，学习到正常数据的分布规律当在正常数据上训练好的自动编码器，遇到异常样本作为输入时，产生的输出仍然会更加接近正常样本，因此与输入样本产生较大差异通过计算自动编码器输入与输出的差异，就可以判定输入样本存在异常的可能性数据自动生成自动编码器的改进，变分自动编码器（VariationalAutoencoder），可以实现数据自动生成的功能。变分自编码器（VariationalAutoencoder，VAE）是一种生成模型，结合了自编码器和概率图模型的思想。它可以学习数据的潜在表示，并通过采样生成新的数据。VAE中编码器将输入数据映射为潜在空间中的分布参数，通常假设满足高斯分布。解码器则从潜在空间中的随机样本（即潜变量）重构原始数据。数据自动生成VAE的关键在于引入了变分推断理论，通过最大化观测数据与生成数据之间的似然性来训练模型。具体而言，它使用重参数化技巧将潜在变量的采样过程转化为可导的操作，从而实现对模型参数的优化。同时，VAE还包括一个正则项——KL散度，用于约束潜在空间分布与先验分布的接近程度。通过训练，VAE可以学会提取数据的特征，并生成具有类似分布的新样本。它在生成图像、音频、文本等领域都有广泛应用，也被用于数据降维和半监督学习等任务。参考链接Devlin,J.,Chang,M.W.,Lee,K.,&Toutanova,K.(2018).Bert:Pre-trainingofdeepbidirectionaltransformersforlanguageunderstanding.arXivpreprintarXiv:1810.04805.Doersch,C.(2016).Tutorialonvariationalautoencoders.arXivpreprintarXiv:1606.05908.Vahdat,A.,&Kautz,J.(2020).NVAE:Adeephierarchicalvariationalautoencoder.Advancesinneuralinformationprocessingsystems,33,19667-19679.Chen,Z.,Yeo,C.K.,Lee,B.S.,&Lau,C.T.(2018,April).Autoencod