《深度学习项目案例开发》课件-任务三 使用数据增强抑制卷积神经网络过拟合

任务三：使用数据增强抑制卷积神经网络过拟合训练模型、保存模型并绘制损失曲线人工智能学院—1.任务导入任务总结任务三：使用数据增强抑制卷积神经网络过拟合ImageDataGenerator基本用法人工智能学院—1.任务导入任务总结任务三：使用数据增强抑制卷积神经网络过拟合工作任务-建立猫狗识别模型人工智能学院—1.任务导入任务总结任务三：使用数据增强抑制卷积神经网络过拟合项目简介——生成数据的dataframe人工智能学院—1.任务导入任务总结任务三：使用数据增强抑制卷积神经网络过拟合使用ImageDataGenerator实现数据增强人工智能学院—1.任务导入任务总结任务三：使用数据增强抑制卷积神经网络过拟合调用模型并识别猫狗图片人工智能学院—1.任务导入任务总结任务三：使用数据增强抑制卷积神经网络过拟合工作任务——加载数据实现数据增强人工智能学院—1.任务导入任务总结任务三：使用数据增强抑制卷积神经网络过拟合过拟合与数据增强人工智能学院—任务导入01任务目标02任务导学03任务知识点04任务总结05任务导入/01任务导入使用CNN网络训练的模型在训练集上效果很好，但是在测试集上效果较差，例如任务2的猫狗识别，训练集和测试的准确率相差了20%左右，这是模型出现了过拟合现象，也被称之为“泛化能力差”，引起过拟合的原因有很多，最常见就是样本不足，或者训练集的样本不具备代表性。常用数据集扩充、随机失活方法（Dropout）、早停法等来解决模型遇到的过拟合问题，其中使用图像增强器增加数据集是解决过模型过拟合的首选。任务目标/02了解过拟合和泛化能力的基本概念理解数据增强的原理和方法了解其他防止过拟合的方法掌握评价模型性能的方法知识目标能进行实验比较不同防止过拟合的方法能应用模型解释性工具拓展能力能应用数据增强技术扩展训练数据能进行实时数据增强能调整和优化模型以减少过拟合能完成模型的训练与评估能识别并解决过拟合问题能力目标任务导学/03什么是图像增强通过对训练数据进行扩充和增强，以提高模型的泛化能力和鲁棒性。定义数据增强技术通过对原始数据进行一系列的变换操作，生成新的样本。结构模型能够更好地适应不同的输入，提升在未见数据上的表现。训练用途翻转和旋转、缩放和裁剪、平移、颜色变换、仿射变换、噪声添加。任务导学任务知识点/04机器学习和深度学习的训练过程中，经常会出现过拟合和欠拟合的现象。欠拟合是指模型在训练集上的性能不佳，通常表现为模型复杂度不够，无法捕捉数据的基本模式或关系。欠拟合可能发生在训练初期，随着训练的进行，模型通常会逐渐改善其在训练集上的表现。解决欠拟合的方法包括增加模型复杂度、改进特征提取方式或者增加训练时间等。任务知识点模型的欠拟合过拟合是指在训练数据上表现很好，但在未见过的测试数据上表现较差的现象。这通常是因为模型过于复杂，学习了训练数据中的噪声和细节，而不是数据的潜在分布。深度学习中由于模型复杂的结构和大量的参数，尤其容易发生过拟合。如图中的猫狗识别模型，随着训练轮次的增加训练集识别准确率继续增加，而验证集的准确率反而下降，这时说明模型出现了过拟合现象。任务知识点模型过拟合解决过拟合可以增加训练数据量，通过获取更多数据或使用数据增强技术来人为地扩充训练集，这有助于模型学习到更加泛化的特征。可以使用应正则化手段，常用的是Dropout，这是一种在训练过程中随机关闭某些神经元的技术，强迫网络不过分依赖任何一组特定的神经元，从而提升模型的泛化能力；或者使用权重衰减，在损失函数中加入权重惩罚项（如L1或L2正则化），以抑制过大的权重值，避免模型变得太复杂。还可以通过调整模型架构简化网络结构，减少层数或神经元数量，或者使用预训练的网络进行微调，以限制模型复杂度。任务知识点解决过拟合模型出现过拟合，增加样本数量是首选的办法。图像数据增强是一种在训练机器学习模型时常用的技术，特别是在深度学习中，它通过增加训练集的多样性来提高模型的泛化能力，从而避免过拟合，并提高模型在新数据上的性能。任务知识点图像的数据增强组合增强，将以上几种方法组合使用，创造出更多样化的训练样本，例如在猫狗识别中，可以使用旋转、平移变换、翻转等数据增强方法处理同一张照片，生成多个新的样本。任务知识点图像的数据组合增强Keras中的图像增强可以通过使用图片预处理生成器ImageDataGenerator类来实现。可以把它理解为是一个图片生成器，可以每一次给模型输入一个batch_size大小的样本数据，同时也可以在每一个批次中对这batch_size个样本数据进行增强，扩充数据集大小，增强模型的泛化能力。比如进行旋转，变形，归一化等等，并且可以循环迭代。任务知识点ImageDataGenerator类ImageDataGenerator主要参数rotation_range：浮点数或整数，控制随机旋转的角度范围。width_shift_range和height_shift_range：浮点数或整数，控制随机平移的宽度和高度范围。horizontal_flip：布尔值，决定是否进行水平翻转。vertical_flip：布尔值，决定是否进行垂直翻转。zoom_range：浮点数或整数，控制随机缩放的范围。fill_mode：字符串，定义填充新创建像素的方法。channel_shift_range：浮点数或整数，控制颜色通道上随机偏移的范围。任务知识点ImageDataGenerator类参数fit方法：将数据生成器用于制定的数据样本。flow方法：接收图片数据集和标签,生成经过数据提升或标准化后的数据,依次取batch_size的图片并逐一进行变换，然后再循环。flow_from_directory()方法：每次从文件夹中取batchsize张图片进行处理。对其中每张图片进行增强操作，然后将大小变为target_size并保存到保存目录（save_to_dir）中。flow_from_directory()方法：从DataFrame中获取图像路径