《Python数据分析基础与案例实战》第6章 6.1.2 构建分类与回归模型

构建分类与回归模型1了解人工神经网络目录了解决策树2评价分类与回归模型3决策树算法在分类、预测、规则提取等方向有着广泛应用。在20世纪70年代后期和20世纪80年代初期，机器学习研究者罗斯昆（J.RossQuinilan）提出了ID3算法以后，决策树在机器学习、数据挖掘领域得到极大的发展。罗斯昆后来又提出了C4.5，该算法成为新的监督学习算法。1984年几位统计学家提出了CART分类算法。ID3和ART算法都是采用类似的方法从训练样本中学习决策树。了解决策树决策树采用树状结构，它的每一个叶节点对应一个分类，非叶节点对应在某个属性上的划分，根据样本在该属性上的不同取值将其划分成若干个子集。对于非纯的叶节点，多数类的标号给出到达这个节点的样本所属的类。构造决策树的核心问题是在每一步如何选择适当的属性对样本进行拆分。对于一个分类问题，从已知类标记的训练样本中学习并构造出决策树是一个自上而下、分而治之的过程。了解决策树常用的决策树算法如下表所示。了解决策树决策树算法算法描述ID3算法其核心是在决策树的各级节点上，使用信息增益方法作为属性的选择标准，来帮助确定生成每个节点时所应采用的合适属性C4.5算法C4.5算法相对于ID3算法的重要改进是使用信息增益率来选择节点属性。C4.5算法可以弥补ID3算法存在的不足：ID3算法只适用于离散的描述属性，而C4.5算法既能够处理离散的描述属性，也能够处理连续的描述属性CART算法CART算法是一种十分有效的非参数分类和回归方法，通过构建树、修剪树、评估树来构建一个二叉树。当终节点是连续变量时，该树为回归树；当终节点是离散变量时，该树为分类树ID3算法采用信息增益作为决策的标准，信息熵用于评估样本集合纯度。样本集中的样本可能属于多个不同的类别，也可能只属于一个类别。如果样本集中的样本都属于一个类别，则这个样本集为纯，否则为不纯。ID3算法选择当前样本集中具有最大信息增益值的属性作为测试属性，信息增益值表示某个属性的信息熵与其他属性的信息熵之和的差值。样本集的划分则依据测试属性的取值进行，测试属性有多少不同取值就将样本集划分为多少子样本集，同时决策树上相对应样本集的节点长出新的叶节点。了解决策树1.ID3算法简介及基本原理ID3算法根据信息论理论，采用划分后样本集的不确定性作为衡量划分好坏的标准，用信息增益值度量不确定性，信息增益值越大，不确定性越小。因此，ID3算法在每个非叶节点选择信息增益最大的属性作为测试属性，这样可以得到当前情况下最纯的拆分，从而得到较小的决策树。ID3算法作为一个典型的决策树算法，其核心是在决策树的各级节点上都使用信息增益作为判断标准来进行属性的选择，使得在每个非叶节点上进行划分时，都能获得最大的类别分类增益，使分类后的数据集的熵最小。这样的处理方法使得决策树的平均深度较小，从而有效地提高了分类效率。了解决策树由于ID3算法采用了信息增益作为选择测试属性的标准，它会偏向于选择取值较多的，即所谓高度分支属性，而这类属性并不一定是最优的属性。同时ID3算法只能处理离散属性，对于连续属性，在分类前需要对其进行离散化。为了解决ID3算法倾向于选择高度分支属性的问题，人们采用信息增益率作为选择测试属性的标准，信息增益率为节点的信息增益与节点分裂信息度量的比值，这样便得到C4.5算法。了解决策树ID3算法的具体实现步骤如下。（1）对当前样本集，计算所有属性的信息增益。（2）选择信息增益最大的属性作为测试属性，将测试属性取值相同的样本划为同一个子样本集。（3）若子样本集的类别属性只含有单个属性，则分支为叶节点，判断其属性值并标上相应的符号，然后返回调用处；否则对子样本集递归调用ID3算法。了解决策树2.ID3算法具体流程DecisionTreeClassifier类常用的参数及其说明如下表所示。了解决策树参数名称参数说明criterion接收gini或entropy。表示衡量分割质量的功能。默认为ginisplitter接收best或random。表示用于在每个节点上选择拆分的策略。默认为bestmax_depth接收int。表示决策树的最大深度。默认为Nonemin_samples_split接收int或float。表示拆分内部节点所需的最少样本数。默认为2下面结合公交车上车人次案例实现ID3，具体实施步骤如下。对于节假日属性，是节假日则设置为“1”，不是则设置为“0”。对于周末属性，是周末则设置为“1”，非周末则设置为“0”。对于天气属性，数据集中存在多种不同的值，这里将那些属性值相近的值进行类别整合。如天气为“多云”“多云转晴”“晴”，这些属性值相近，均是适宜外出的天气，会对人们选择交通方式有一定的影响，因此将它们归为一类，天气属性值设置为“1”；而对于“雨”“小到中雨”等天气，将它们归为一类，天气属性值设置为“0”。数量属性是上车人次的计数。数量为数值型，需要对属性进行离散化，将数量属性划分为“1”和“0”两类。将上车人次的一个阈值作为分界点，大于分界点的划分到类别“1”，小于分界点的划分到类别“0”。了解决策树经过以上的处理，得到的数据集如下表所示。了解决策树节假日周末天气数量1011101111011101…………001000000010使用scikit-learn库建立基于信息熵的决策树模型，预测上车人数的多少。生成的结果如下图所示。了解决策树以最左边分支为例，在根节点中，数据总记录数为30，数量属性为“0”的记录为14，数量属性为“1”的i记录为16，信息熵为0.997；当节假日属性为“0”时，依据分支条件“节假日<=0.5”，应当判别为True，此时数量属性为“1”的记录为9，数量属性为“0”的记录为14，信息熵为0.966；当天气属性为“0”时，其数值小于0.5，此时数量属性为“1”的记录为8，数量属性为“0”的记录为4，信息熵为0.918；当周末属性为“0”时，其数值小于0.5，此时数量属性为“1”的记录为5，数量属性为“0”的记录为3，信息熵为0.954。了解决策树1了解人工神经网络目录了解决策树2评价分类与回归模型3人工神经网络（NeuralNetwork）能在外界信息的基础上改变内部结构，是一个具备学习功能的自适应系统。和其他分类与回归算法一样，人工神经网络已经被用于解决各种各样的问题，如机器视觉和语音识别。人工神经网络是由具有适应性的简单单元组成的广泛并行互连网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。将多个神经元按一定的层次结构连接起来，就得到神经网络。使用神经网络模型需要确定网络连接的拓扑结构、神经元的特征和学习规则等。了解人工神经网络1.人工神经网络介绍常见的神经网络采用右图所示的层级结构，每层神经元与下一层的神经元全部互连，神经元之间不存在同层连接，也不存在跨层连接。了解人工神经网络上图所示的网络结构称为多层前馈神经网络（MultilayerFeedForwardNeuralNetwork），其中输入层神经元对信号进行接收，最终输出结果由输出层神经元输出。输入层神经元只接收输入，不进行函数处理，隐藏层与输出层包含功能神经元。神经网络的学习过程，就是根据训练数据调整神经元之间的连接权重（ConnectionWeight）以及每个神经元的阈值，神经网络“学”到的信息蕴含在连接权重和阈值中。值得注意的是，如果单隐藏层网络不能满足实际生产需求，可在网络中设置多个隐藏层。了解人工神经网络常用于实现分类和回归的神经网络算法如下表所示。了解人工神经网络算法名称算法描述BP神经网络BP神经网络是一种按误差逆传播算法训练的多层前馈神经网络，学习算法是δ学习规则，是目前应用最广泛的神经网络算法之一LM神经网络LM神经网络是基于梯度下降法和牛顿法结合的多层前馈神经网络，特点是迭代次数少、收敛速度快、精确度高RBF神经网络RBF神经网络能够以任意精度逼近任意连续函数，从输入层到隐层的变换是非线性的，而从隐层到输出层的变换是线性的，特别适合解决分类问题模糊神经网络模糊神经网络是具有模糊权系数或者输入信号是模糊量的神经网络，是模糊系统与神经网络相结合的产物，它汇聚了神经网络与模糊系统的优点，集联想、识别、自适应及模糊信息处理于一体GMDH神经网络GMDH神经网络也称为多项式网络，它是前馈神经网络中常用的一种用于预测的神经网络。它的特点是网络结构不固定，而且在训练过程中不断改变自适应神经网络自适应神经网络镶嵌在一个全部模糊的结构之中，在不知不觉中向训练数据学习，自动产生、修正并高度概括出最佳的输入与输出变量的隶属函数以及模糊规则；另外神经网络的各层结构与参数也都具有明确的、易于理解的物理意义BP神经网络，是指采用误差逆传播（BackPropagation，BP）算法训练的多层前馈神经网络。BP神经网络算法的实现流程如下。（1）在(0,1)内随机初始化网络中所有权重和阈值。（2）将训练样本提供给输入层神经元，然后逐层将信号前传，直到产生输出层的结果。这一步一般称为信号正向传播。（3）计算输出层误差，将误差逆向传播至隐藏层神经元，再根据隐藏层神经元误差来对权重和阈值进行更新。这一步一般称为误差逆向传播。（4）循环执行步骤（2）和步骤（3），直到达到某个停止条件，一般为训练误差小于设定的阈值或迭代次数大于设定的阈值。了解人工神经网络2.BP神经网络以典型的三层BP神经网络为例，描述标准的BP神经网络算法。图66所示的是一个有3个输入层节点、4个隐藏层节点、1个输出层节点的三层BP神经网络。了解人工神经网络BP神经网络算法的学习过程由信号的正向传播与误差的逆向传播两个过程组成。正向传播时，输入信号经过隐藏层的处理后，传向输出层。若输出层节点未能得到期望的输出，则转入误差的逆向传播阶段，将输出误差按某种子形式，通过隐藏层向输入层返回，并“分摊”给隐藏层的4个节点与输入层的x1、x2、x3这3个节点，从而获得各层神经元的参考误差（或称误差信号），作为修改各神经元权重的依据。这种信号正向传播与误差逆向传播的各层权重矩阵的修改过程是周而复始进行的。权重不断修改的过程，也就是网络的学习（或称训练）过程。此过程一直进行到网络输出的误差逐渐减少到可接受的程度或达到设定的学习次数为止。了解人工神经网络BP神经网络算法学习过程的流程如右图所示。针对数据应用神经网络算法进行建模，建立的神经网络有3个输入节点、10个隐藏节点和1个输出节点。了解人工神经网络运行代码可以得到下图所示的混淆矩阵图。了解人工神经网络从混淆矩阵图可以看出，训练样本为30个，预测正确的个数为25，预测准确率为83.33%，预测准确率较低，这是因为神经网络训练时需要较多样本，而这里训练样本较少。需要指出的是，这里的神经网络预测案例比较简单，并没有考虑过拟合的问题。事实上，神经网络的拟合能力是很强的，容易出现过拟合现象。与传统的添加“惩罚项”的做法不同，目前神经网络（尤其是深度神经网络）中流行的防止过拟合的方法是随机地让部分神经网络节点休眠。了解人工神经网络1了解人工神经网络目录了解决策树2评价分类与回归模型3对于分类模型，常用的评价指标包括准确率、精确率、召回率、混淆矩阵和ROC曲线等。准确率准确率（Accuracy）是指预测正确的结果占总样本的百分比。准确率定义如式（6-3）所示。 （6-3）式（6-3）中的参数说明具体如下。TP（TruePositive）：正确地将正样本预测为正样本的分类数。TN（TrueNegative）：正确地将负样本预测为负样本的分类数。FP（FalsePositive）：错误地将负样本预测为正样本的分类数。FN（FalseNegative）：错误地将正样本预测为负样本的分类数。评价分类与回归模型1.分类模型评价指标精确率精确率（Precision）是指所有被预测为正的样本中实际为正的样本的概率。精确率定义如式（6-4）所示。 （6-4）召回率召回率（Recall）是指实际为正样本预测为正样本占实际为正样本的总数概率。召回率定义如式（6-5）所示。 （6-5）评价分类与回归模型混淆矩阵混淆矩阵（ConfusionMatrix）是模式识别领域中一种常用的表达形式。它用于描述样本数据的真实属性与识别结果类型之间的关系，是评价分类器性能的一种常用指标。以一个二分类任务为例，可将样本根据真实类别与预测的分类结果的组合划分为TP、FP、FN、TN这4种情形，并对应其样本数，则有总样本数=TP+FP+FN+TN。分类结束后的混淆矩阵如下表所示。评价分类与回归模型真实结果预测结果正类反类正类TPFN反类FPTN而根据4种情形的预测结果，可得出预测结果的准确率（Accuracy）和错误率（Fallibility），计算方式如式（6-3）、式（6-6）所示。 （6-6）其中，关于TP、FP、FN、TN的概念在介绍准确率评价指标时已进行说明。评价分类与回归模型以90个样本数据为例，并将其分成3类，每类含有30个样本数据，对应混淆矩阵中应用于实际数据得到的分类情况如下表所示。评价分类与回归模型真实结果预测结果类1类2类3类12631类21272类31029第1行的数据说明有26个样本被正确分类，有3个样本应属于类1，却错误地分到了类2，有1个样本应属于类1，却错误地分到了类3；第2行的数据说明有27个样本被正确分类，有1个样本应属于类2，却错误地分到了类1，有2个样本应属于类2，却错误地分到了类3；第3行的数据说明有29个样本被正确分类，有1个样本应属于类3，却错误地分到了类1。评价分类与回归模型ROC曲线接收者操作特征曲线（ReceiverOperatingCharacteristiccurve，ROC曲线）是一种非常有效的模型评价指标，可为选定临界值给出定量提示。如右图所示，这是以真正率（即正确地将正例预测为正例的比值）为纵坐标、假正率（即错误地将负例预测为正例的比值）为横坐标绘制的ROC曲线。该曲线下的面积（area）为0.93，而面积的大小与每种方法的优劣密切相关，可反映分类器正确分类的统计概率，因此，其值越接近1说明该算法效果越好。评价分类与回归模型对于回归模型，常用的评价指标包括绝对误差与相对误差、误差分析中的综合指标（平均绝对误差、均方误差、均方根误差）、平均绝对百分误差和Kappa统计量等。绝对误差与相对误差设Y表示实际值，表示预测值，则称E为绝对误差（AbsoluteError），计算公式如式（6-7）所示。 （6-7）

e为相对误差（RelativeError），计算公式如式（6-8）所示。 （6-8）评价分类与回归模型2．回归模型评价指标有时相对误差也用百分数表示，如式（6-9）所示。 （6-9）这是一种直观的误差表示方法。平均绝对误差平均绝对误差（MeanAbsoluteError，MAE）定义如式（6-10）所示。 （6-10）式（6-10）中，MAE表示平均绝对误差，表示第i个实际值与预测值的绝对误差，表示第i个实际值，表示第i个预测值。由于预测误差有正有负，为了避免正负相抵消，故取绝对误差的绝对值进行求和并取其均值。评价分类与回归模型均方误差均方误差（MeanSquareError，MSE）定义如式（6-11）所示。 （6-11）式（6-11）中，MSE表示均方误差，其他符