深度学习基础与实践 课件 2.3.2模型的欠拟合与过拟合（下）

模型的欠拟合与过拟合（下）03模型拟合问题解决办法过拟合的缓解办法一些过拟合的缓解办法：增加典型数据

，从数据源头获取更多数据；数据增强（DataAugmentation）：又名数据扩增，在不影响数据实质的情况下，让有限的数据产生更多的价值；。Dropout，在训练过程中，每次临时删除模型中的部分节点对其余节点进行训练，不断重复此过程。简化模型，减少网络的层数、神经元个数等均可以限制网络的拟合能力。正则化，添加惩罚项，对复杂度高的模型进行“惩罚”，限制权值变大。限制训练时间(early

stoptraining)，设置阈值，限制训练时间。数据清洗(data

cleaning/Pruning)：将错误的label

纠正或者删除错误的数据。结合多种模型，

用不同的模型拟合不同部分的训练集。03模型拟合问题解决办法数据增强（Data

Augmentation）数据增强相关方法Translation：移位；Horizontal/Vertical

Flip：水平/垂直翻转；RandomScale：尺度变换；Rotation：旋转变换；Noise：高斯噪声、模糊处理；Random

Crop：采用随机图像差值方式，对图像进行裁剪；包括尺度和长宽比增强变换；ColorJittering：对颜色的数据增强：图像亮度、饱和度、对比度变化；PCA

Jittering：首先按照RGB三个颜色通道计算均值和标准差，再在整个训练集上计算协方差矩阵，进行特征分解，得到特征向量和特征值，用来做PCAJittering；模型拟合问题解决办法03数据增强（Data

Augmentation）--

移位（Translation）移位只涉及沿X或Y方向（或两者）移动图像。在下面的示例中，我们假设图像在其边界之外具有黑色背景，并且被适当地移位。这种增强方法非常有用，因为大多数对象几乎可以位于图像的任何位置。这使你的卷积神经网络看到所有角落。原

图水平移位水平和垂直同时移位03模型拟合问题解决办法数据增强（Data

Augmentation）--

水平/垂直翻转（

Horizontal/Vertical

Flip

）可以对图片进行水平和垂直翻转。一些框架不提供垂直翻转功能。但是，一个垂直反转的图片等同于图片的180度旋转，然后再执行水平翻转。下面是我们的图片翻转的例子。垂直翻转水平翻转原图03模型拟合问题解决办法数据增强（Data

Augmentation）--

尺度变换（

Scale

）尺度变换就是图像缩放，对图像按照指定的尺度因子,进行放大或缩小。以下是图像缩放的示例。原图按比例缩放03模型拟合问题解决办法数据增强（Data

Augmentation）--

旋转变换（Rotation

）原图旋转变换值得注意的是，旋转变换往往需要配合尺度变换，否则容易使得我们的目标图像超出我们的边界。在部分框架中旋转变化在函数会自带缩放相关的参数。旋转变换表示旋转图像一定角度，改变图像内容的朝向旋转。如图展示了原图经过旋转变换的示例图。03模型拟合问题解决办法数据增强（Data

Augmentation）-- 噪声（

Noise

）高斯噪声（Gaussian

Noise

），是指图像中的噪声服从高斯分布。也就是大多数像素点都与无噪声图像中的对应点相差不大，相差越大的情况越少。椒盐噪声也称为脉冲噪声，是指图像中随机出现全亮点和全暗点的情况，看起来就像是往图像中撒了黑色胡椒和白色的盐。原图高斯噪声椒盐噪声03模型拟合问题解决办法数据增强（Data

Augmentation）--

抖动JitteringColor

Jittering

色彩抖动：色彩抖动是指对图像的亮度、饱和度（saturation）和色调（hue）进行随机变化形成不同光照及颜色的图片，达到数据增强的目的，尽可能使得模型能够使用不同光照条件的情形，提高模型泛化能力。PCA

Jittering：PCA

Jittering是实际上对RGB颜色空间添加扰动，从而达到对RGB颜色添加噪声的目的，具体为对RGB空间做PCA，然后做一个(0,

0.1)的高斯扰动。最早使用是在2012年的AlexNet，从论文实验中可以看出，PCA

jittering对于分类的性能提升比较显著。原图Color

JitteringPCA

Jittering03模型拟合问题解决办法Dropout介绍Dropout的思想其实非常简单：对于网络的每一层，随机的丢弃一些单元。正是因为在每一层随机地丢弃了一些单元，所以相当于训练出来的网络要比正常的网络小的多，在一定程度避免过拟合的问题。如下图所示的一个简单网络，因为每一个节点都有可能被丢弃，所以整个网络不会把某个节点的权重值赋很大，类似于L2正则化，能够起到减轻过拟合的作用。[1]Dropout:ASimpleWaytoPreventNeuralNetworksfrom

Overtting03模型拟合问题解决办法Dropout工作流程及使用使用Dropout之后，过程变成如下：首先随机（临时）删掉网络中一半的隐藏神经元，输入输出神经元保持不变然后把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法