大数据解析与应用导论 课件 9-4 变分自编码器

大数据解析与应用导论Introduction

to

Big

Data

Analytics

and

Application第九章自编码器自编码器简介1.去噪自编器2.稀疏自编码器3.变分自编码器4.9.4变分自编码器自编码器（AE）的局限性

AE分为两个部分：编码器和解码器。编码器可以是多层感知机、卷积神经网络。

输入经过编码器得到潜变量，类似于降维，得到输入的主

要成分，然后再通过解码网

络恢复出原始输入。AE模型的潜变量不满足特定的分布！（2）变分自编码器的结构9.4变分自编码器变分自编码器(Variational

auto-encoder，VAE)[1]是一类重要的生成模型（generative

model），它由Diederik

P.Kingma和Max

Welling提出。[1]

D.

P.

Kingma

and

M.

Welling,

“Auto-Encoding

Variational

Bayes,”

arXiv:1312.6114

[cs,

stat],

May

2014,

Accessed:

Dec.

03,2020.

[Online].

Available:

/abs/1312.6114.zxN大致了解了岭回归算法的定义，我们来从数学的角度对这个算法进行更深层次的认识。同最小二乘法一致，岭回归分析的最终目标也是为了更好的拟合样本点，使得拟合方差最小，这里的目标函数分为两个部分，第一部分是模型的方差，另一部分是参数的二次正则化惩罚项，求解使得这两部分之和最小的参数即为最佳选择。对上述目标函数求偏导，令偏导等于零得到参数的求解公式。我们可以看到，在右图中紫色线代表最小二乘回归结果，绿色代表岭回归结果，在数据共线性的情况下岭回归效果更平衡。经过对比，总结起来就是岭回归通过引入二次项参数○ǁ○ǁ

^2作为正则惩罚项，起到收缩参数，降低误差的作用，而整体的参数选择与模型效果还取决于参数值λ。（3）变分自编码器的数学推导9.4变分自编码器（3.1）（3.2）大致了解了岭回归算法的定义，我们来从数学的角度对这个算法进行更深层次的认识。同最小二乘法一致，岭回归分析的最终目标也是为了更好的拟合样本点，使得拟合方差最小，这里的目标函数分为两个部分，第一部分是模型的方差，另一部分是参数的二次正则化惩罚项，求解使得这两部分之和最小的参数即为最佳选择。对上述目标函数求偏导，令偏导等于零得到参数的求解公式。我们可以看到，在右图中紫色线代表最小二乘回归结果，绿色代表岭回归结果，在数据共线性的情况下岭回归效果更平衡。经过对比，总结起来就是岭回归通过引入二次项参数○ǁ○ǁ

^2作为正则惩罚项，起到收缩参数，降低误差的作用，而整体的参数选择与模型效果还取决于参数值λ。9.4变分自编码器（3）变分自编码器的数学推导于是我们得到：（3.3）大致了解了岭回归算法的定义，我们来从数学的角度对这个算法进行更深层次的认识。同最小二乘法一致，岭回归分析的最终目标也是为了更好的拟合样本点，使得拟合方差最小，这里的目标函数分为两个部分，第一部分是模型的方差，另一部分是参数的二次正则化惩罚项，求解使得这两部分之和最小的参数即为最佳选择。对上述目标函数求偏导，令偏导等于零得到参数的求解公式。我们可以看到，在右图中紫色线代表最小二乘回归结果，绿色代表岭回归结果，在数据共线性的情况下岭回归效果更平衡。经过对比，总结起来就是岭回归通过引入二次项参数○ǁ○ǁ

^2作为正则惩罚项，起到收缩参数，降低误差的作用，而整体的参数选择与模型效果还取决于参数值λ。9.4变分自编码器（3）变分自编码器的数学推导此外变分下界还可以写为：可以反映生成模型的重建误差近似后验分布先验分布（3.4）大致了解了岭回归算法的定义，我们来从数学的角度对这个算法进行更深层次的认识。同最小二乘法一致，岭回归分析的最终目标也是为了更好的拟合样本点，使得拟合方差最小，这里的目标函数分为两个部分，第一部分是模型的方差，另一部分是参数的二次正则化惩罚项，求解使得这两部分之和最小的参数即为最佳选择。对上述目标函数求偏导，令偏导等于零得到参数的求解公式。我们可以看到，在右图中紫色线代表最小二乘回归结果，绿色代表岭回归结果，在数据共线性的情况下岭回归效果更平衡。经过对比，总结起来就是岭回归通过引入二次项参数○ǁ○ǁ

^2作为正则惩罚项，起到收缩参数，降低误差的作用，而整体的参数选择与模型效果还取决于参数值λ。9.4变分自编码器（3）变分自编码器的数学推导在实际的训练中，期望的计算通过蒙特卡洛采样实现：，其中同时为了保证梯度的回传，

VAE采取了重参数技巧：（3.5）（4）变分自编码器的网络框架9.4变分自编码器μσεz（4）变分自编码器的网络框架9.4变分自编码器μσεz（5）VAE的实例9.4变分自编码器EncoderLayerSizeBias

Batch

Norm

ActivationC1Linear

[784,100]

TrueFalseReLUC2Linear

[100,100]

TrueFalseReLUμ-layerLayerSizeBiasBatch

NormActivationC1Linear[100,2]TrueFalseNoneσ-layerLayerSizeBiasBatch

NormActivationC1Linear[100,2]TrueFalseNoneDecoderLayerSizeBiasBatch

NormActivationC1Linear[2,100]True