7.6 CNN 过拟合欠拟合

卷积神经网络的性能分析

之过拟合与欠拟合主讲人：张洁北京工商大学计算机与信息工程学院2026/10/11BTBU-CIE2本节概要深度神经网络的性能评价过拟合与欠拟合问题描述过与欠拟合问题解决方案2026/10/113深度神经网络的超参数三类超参数：数据相关：丰富数据库、数据泛化处理训练相关：训练动量、学习率、衰减函数、正则化方法网络相关：层数、节点数、滤波器数，分类器种类2026/10/11BTBU-CIE4深度神经网络的性能评价数据集通常分为三类：训练集、验证集、测试集训练模式：多倍交叉验证(cross-validation,cv)数据集2026/10/11BTBU-CIE5深度神经网络的性能评价评价标准：三个误差训练误差：训练集数据的学习误差交叉验证误差：学习模型在验证集上的平均预测误差测试误差：学习模型在完全独立的测试集上的平均预测误差训练误差测试误差2026/10/11BTBU-CIE6过拟合和欠拟合的判断方法误差vs训练集大小左端处于过拟合，右端处于欠拟合误差vs模型复杂度：A点处于欠拟合，B点最优，C点处于过拟合方法一：方法二：当Jcv≫Jtrain且Jtrain较小时（右侧）模型可能存在过拟合ABC2026/10/11BTBU-CIE7过拟合和欠拟合过拟合现象的表现：随着训练过程的进行，在trainingdata上的trainingerror渐渐减小，可在验证集上evaluationerror却反而渐渐增大过拟合问题的本质解释：由于训练出来的网络过拟合了训练集，对训练集以外的数据却不适用2026/10/11BTBU-CIE8过拟合和欠拟合问题欠拟合现象的表现：随着训练过程的进行，在trainingdata上的trainingerror和在验证集上evaluationerror差不多，都较大；欠拟合问题的本质解释：模型没有很好地捕捉到数据特征，不能够很好地拟合数据。2026/10/11BTBU-CIE9过拟合的解决方法1）重新清洗数据：导致过拟合的一个原因可能是数据不纯，含有质量不佳的数据，需要重新清洗或过滤数据。2）增大数据的训练量：训练数据占总数据的比例过小。3）采用正则化方法：在目标函数之后加上对应的范数，在模型学习的过程中自动减小模型复杂度。正则化方法包括L0正则、L1正则和L2正则。4）采用dropout方法：该方法是ImageNet中提出的，在训练的时候让神经元以一定的概率随机不工作。2026/10/11BTBU-CIE10过拟合的解决方法L1正则化的代价函数L2正则化（权重衰减）的代价函数正则化的本质：通过让模型的全部参数的向量w变小，降低网络复杂度，从而降低过拟合风险。正则化：2026/10/11BTBU-CIE11数据增强dataaugmentation：利用随机裁剪和翻转镜像操作增加训练数据量，降低过拟合。扩展数据的方式：翻转、镜像、剪切、加噪等过拟合的解决方法2026/10/11BTBU-CIE12过拟合的解决方法未进行数据增强前的网络，训练时间大概是3min，准确率基本在83%左右进行数据增强后会大大增加网络的训练时间，在经过4小时的训练后，测试集的准确率大概在90%数据增强dataaugmentation：利用随机裁剪和翻转镜像操作增加训练数据量，降低过拟合。扩展数据的方式：翻转、镜像、剪切、加噪等2026/10/11BTBU-CIE13过拟合的解决方法Dropout:保持输出层不变，训练时使用Dropout策略随机忽略一部分神经元。注：正则化是通过改动代价函数来实现的，而Dropout则是通过改动神经网络本身来实现的，是一种trick。2026/10/11BTBU-CIE14欠拟合的解决方法本质：模型没有很好地捕捉到数据特征，不能够很好地拟合数据。解决方法：添加其他特征项：模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来增强模型对数据的表示能力。例如，“组合”、“泛化”、“相关性”三类特征等添加多项式特征：例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。减少正则化参数：与解决过拟合相反。减少正则化参数，增加模型复杂度和表示力。2026/10/11BTBU-CIE15小结学习模型的过拟合和欠拟合问题解决深度神经网络过