深度学习应用开发 课件 第5章 回归问题

目录1回归问题概述01任务回归问题的损失函数03任务回归的基本原理02任务1回归问题概述1回归问题概述在机器学习中，回归是一种有监督学习，主要是从中发现变量之间的相关性，确定变量间的关系式，从而预测输出的变量值；回归问题主要用于预测某连续变量或离散变量的数值，例如：预测PM2.5、预测房屋价格、电商用户购买可能性等；回归问题包括一元线性回归和多元线性回归。回归用于预测输入变量（自变量）和输出变量（因变量）之间的关系，回归模型正是表示从输入变量到输出变量之间映射的函数。回归问题的学习等价于函数拟合。2回归的基本原理2回归的基本原理（1）一元线性回归一元线性回归是回归问题中最为简单的回归问题，可以将一元线性回归理解为：对给出的N个点（x,y），找到一条能够拟合这些点的直线：y=wx+b公式中，y是目标变量，即未来要预测的值；x是影响y的因素，称为自变量，w和b是公式上的参数，即要求的模型参数。2回归的基本原理目标变量的影响因素可以是连续值也可以是离散值，自变量和目标变量之间的关系称为模型，影响目标变量的因素只有一个x，所以这类回归问题叫做一元线性回归。比如：当只考虑房屋面积因素时，房价预测模型构建问题就属于一元线性回归问题。一元线性回归图像2回归的基本原理（2）多元线性回归现实生活中，往往影响结果y的因素不止一个，例如影响房子价格的因素还可能有房子的位置、楼层等因素，这时x就从一个变成了n个，x1~xn，同时简单线性回归的公式也就不在适用了。多元线性回归公式如下：y=w1x1+w2x2+……+wnxn公式中，y是目标变量，即未来要预测的值；x1、x2……xn是影响y的多元因素。2回归的基本原理可以将二元线性回归理解为使用一个平面拟合平面中的一些点：二元线性回归图像3回归问题的损失函数3回归问题的损失函数机器学习的所有算法都需要最大化或者最小化目标函数，在最小化场景下，目标函数又称损失函数。在回归问题中，有2种最常用的损失函数：（1）平均绝对误差（2）均方误差3回归问题的损失函数（1）平均绝对误差平均绝对误差（MeanAbsoluteError，MAE），又称L1损失，用于评估预测结果和真实数据集的接近程度，其值越小说明拟合效果越好。公式如下：优点：对异常值具有较好鲁棒性；缺点：梯度不变是个严重问题，即使对于很小的损失，梯度也很大，不利于模型收敛，常使用变化的学习率解决。3回归问题的损失函数（2）均方误差均方误差（Meansquarederror，MSE），又称L2损失，该指标计算的是拟合数据和原始数据对应样本点的误差的平方和的均值，其值越小说明拟合效果越好。公式如下：优点：计算方便，逻辑清晰，衡量误差较准确，收敛效果好。缺点：对异常点会赋予较大的权重，如果异常点不属于考虑范围，是由于某种错误导致的，则此函数指导方向将出现偏差。ThankYOU!目录1案例目标01任务02任务环境配置03任务案例分析案例实施04任务1案例目标1案例目标掌握回归的概念及原理；掌握回归模型的搭建方法；掌握回归问题使用的损失函数和评估指标；掌握使用pandas包的数据分析方法；掌握图形可视化包seaborn的使用。2案例分析2案例分析汽车燃油效率预测问题是回归问题中的经典案例；本案例通过燃油效率预测问题，使用Keras框架实现回归问题的建模流程；案例采用AutoMPG数据集，它记录了各种汽车效能指标与气缸数、重量、马力等其它因子的真实数据，2案例分析查看数据集的前5组数据，如表所示，其中：mpg（燃油效率）、cylinders（气缸）、displacement（排量）、horsepower（马力）、weight（重量）、acceleration（加速度）、modelyear（型号年份）、origin（产地）。除了产地的数字字段表示类别外，其他字段都是数值类型。对于产地，1表示美国，2表示欧洲，3表示日本。3环境配置2环境要求Windows10Jupyternotebooktensorflow==2.3.0、keras==2.3.1matplotlib==3.3.2seaborn==0.12.1pandas==1.15.14案例实施4案例实施部分代码示例：1、导入包4案例实施2、加载数据集4案例实施3、构建全连接神经网络模型4案例实施4、训练模型ThankYOU!目录1过拟合与欠拟合概述01任务过拟合及解决办法02任务欠拟合及解决办法03任务1过拟合与欠拟合概述1过拟合与欠拟合概述对于深度学习或机器学习模型来说，我们不仅要求它对训练数据集有很好的拟合，同时也希望它可以对未知数据集（测试集）有很好的拟合结果（泛化能力），所产生的测试误差被称为泛化误差。度量泛化能力的好坏，最直观的表现就是模型的过拟合（overfitting）和欠拟合（underfitting）。过拟合和欠拟合是用于描述模型在训练过程中的两种状态。一般来说，训练过程会是如下所示的一个曲线图：2过拟合及解决办法2过拟合及解决办法（1）过拟合概念过拟合是指训练误差和测试误差之间的差距太大。换句换说，就是模型复杂度高于实际问题，模型在训练集上表现很好，但在测试集上却表现很差。模型学习到了一些训练集中的不适用于测试集的性质或特点，比如噪声，模型的泛化能力差。2过拟合及解决办法（2）过拟合出现的原因训练数据集样本单一，样本不足。如果训练样本只有负样本，然后那生成的模型去预测正样本，这肯定预测不准。所以训练样本要尽可能的全面，覆盖所有的数据类型。训练数据中噪声干扰过大。噪声指训练数据中的干扰数据。过多的干扰会导致记录了很多噪声特征，忽略了真实输入和输出之间的关系。模型过于复杂。模型太复杂，已经能够“死记硬背”记下了训练数据的信息，但是遇到没有见过的数据的时候不能够变通，泛化能力太差。我们希望模型对不同的模型都有稳定的输出。模型太复杂是过拟合的重要因素。2过拟合及解决办法（3）防止过拟合方法获取和使用更多的数据（数据集增强）；采用合适的模型（控制模型的复杂度）；降低特征的数量；L1/L2正则化；加入Dropout；采用Earlystopping方法。3欠拟合及解决办法3欠拟合及解决办法（1）欠拟合概念欠拟合是指模型不能在训练集上获得足够低的误差。换句换说，就是模型复杂度低，模型在训练集上就表现很差，没法学习到数据背后的规律。3欠拟合及解决办法（2）欠拟合解决办法欠拟合基本上都会发生在训练刚开始的时候，经过不断训练之后会避免欠拟合问题。如果随着训练的进行，模型仍然存在欠拟合问题，那么可以通过增加网络复杂度或者在模型中增加特征等方法来解决欠拟合问题。ThankYOU!目录1获取更多数据01任务采用合适的模型02任务L1/L2正则化03任务Dropout04任务EarlyStop05任务1获取更多数据1获取更多数据解决过拟合根本性办法是使用更多的数据训练网络模型，收集更多的数据样本是所有数据科学任务的第一步，使用大量的数据训练的模型准确率更高，这样也就能降低发生过拟合的概率。在实际问题中，拥有的数据量是有限的，可以通过数据增强的办法扩充数据集。通过增加训练集的额外副本来增加训练集的大小，进而改进模型的泛化能力。常用的数据增强方法有：旋转、缩放、随机裁剪、加入随机噪声、平移、镜像等。2采用合适的模型2采用合适的模型采用合适的模型，即控制模型的复杂度，过于复杂的模型会带来过拟合问题。移除特征能够降低模型的复杂性，并且在一定程度上避免噪声，使模型更高效。为了降低复杂度，我们可以移除层或减少神经元数量，使网络变小。对于模型的设计，目前公认的一个深度学习规律“deeperisbetter”。即层数越多效果越好，但是也更容易产生过拟合，并且计算所耗费的时间也越长。在同样能够解释已知观测现象的假设中，我们应该挑选“最简单”的那一个。对于模型的设计而言，我们应该选择简单、合适的模型解决复杂的问题。3L1/L2正则化3L1/L2正则化为了减小或者避免在训练中出现过拟合现象，通常在原始的损失函数之后附加上正则项，通常使用的正则项有两种：L1正则化和L2正则化。  L1正则化和L2正则化都可以看做是损失函数的惩罚项，所谓惩罚项是指对损失函数中的一些参数进行限制，让参数在某一范围内进行取值。3L1/L2正则化（1）L1正则化L1正则化项是指权重向量w中各元素的绝对值之和，表示为||w||1，L1正则化损失函数：3L1/L2正则化（2）L2正则化L2正则化项是指权重向量w中各元素的平方和，表示为||w||22，L2正则化损失函数：4Dropout4DropoutDropout是2012年推出的一种避免过度拟合的技术，随后被应用于2012年的大规模视觉识别挑战赛，该挑战赛彻底改变了深度学习研究。原始方法在每次训练迭代期间以0.5的概率省略神经网络中的每个神经元，在测试期间包含所有神经元。该技术被证明可以显著提高各种任务的结果。4DropoutDropout的原理就是以一定的概率使神经元失活。Dropout是在训练过程中以一定的概率使神经元失活,也就是输出等于0。从而提高模型的泛化能力，减少过拟合。5EarlyStop5EarlyStopEarlyStop的概念非常简单，在我们一般训练中，经常由于过拟合导致在训练集上的效果好，而在测试集上的效果非常差。因此我们可以让训练提前停止，在测试集上达到最好的效果时候就停止训练，而不是等到在训练集上饱和在停止，这个操作就叫做EarlyStop。ThankYOU!目录1案例目标01任务02任务环境配置03任务案例分析案例实施04任务1案例目标1案例目标掌握使用神经网络构建回归模型的方法；掌握pandas数据读取、处理及可视化方法；掌握数据集预处理及划分方法；掌握回调函数的创建及tensorboard可视化工具；理解模型过拟合含义及处理方法。2案例分析2案例分析本案例为“房价预测”，通过构建神经网络模型来预测房屋的价格。网络模型的输人为房屋的信息，例如面积、楼层或房龄等信息，通过对这些输入信息的分析，预测房屋价格；本案例通过采用相应的技巧，防止模型过拟合，进一步理解过拟合问题；本案例通过构建回调函数，调用tensorboard工具可视化训练过程。2案例分析本案例使用的数据集为“HouseSalesinKingCounty,USA”数据集。此数据集共有21613笔房屋数据，每一笔数据有21个不同的信息，分别表示以下含义：●id:房子的标识号●date:房屋出售日期●price:房屋价格●bedrooms:卧室数量●bathrooms:浴室数量●sqft_living:居住的面积●sqftlot:实际的面积●floors：房屋总楼层数●waterfront:海景房●view：房屋是否看过●condition：整体条件●

grade:房屋的整体等级●sqftabove:地下室以外的面积●sqftbasement:地下室的面积●yr_built:房屋建造时间●yr_renovated:何时重新装修过●zipcode:邮政编码●lat:纬度坐标。●long:经度坐标。●sgftliving15:2015年记录的居住面积●saftlot15:2015年记录的实际面