《人工智能基础及应用（Python 微课版）》课件 第5.3 指标评价

指标评价过拟合和欠拟合拟合是指机器学习模型在训练的过程中，通过更新参数，使得模型不断契合可观测数据(训练集)的过程。欠拟合指的是模型在训练和预测表现都不好，往往由于模型过于简单,如图(a)所示。正常模型指的是模型在训练和预测表现都好，如图(b)所示。过拟合是指由于模型过于复杂，模型在训练集上的表现很好，但在测试集上表现较差,如图(c)所示。欠拟合1）添加新特征当特征不足或者现有特征与样本标签的相关性不强时，模型容易出现欠拟合。通过“组合特征”等进行处理。2）模型优化：提升模型复杂度模型的复杂度可以使模型拥有更强的拟合能力。例如，在线性模型中添加高次项等进行处理。不同的建模算法针对不同的业务场景有不同的表现，尝试不同的建模算法，从中比较，择优者而用之。细分群体，建立多个模型，对应不同的核心客户群体。3）减少正则项权重过拟合1）获取更多的训练样本

由于模型训练了包含噪音在内的所有特征，导致模型过拟合，通过获取更多的训练样本，可以衰减噪音权重。2）减少特征数目特征共线性检查，利用Pearson相关系数计算变量之间的线性相关性，如果自变量中属于中度以上线性相关的多个变量，只需要保留一个就可以。重要特征筛选，利用决策树模型，降低树的深度、进行剪枝等,筛选出重要特征。数据降维，主成分分析，保留特征变量重要差异。3）增加正则项权重减少高次项的影响。例如，添加L2正则化到损失函数等。分类评估标准混淆矩阵准确率精确率召回率F1scoreROC曲线

AUC面积分类评估报告混淆矩阵混淆矩阵也称误差矩阵，用于评价算法或者分类器的结果。混淆矩阵由n行n列组成，每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别，每一行的总数表示该类别的数据实例的数目。每一列中的数值表示真实数据被预测为该类的数目。混淆矩阵准确率准确率（Accuracy，缩写ACC）是最常用的分类性能指标。准确率是指有病被检查的TP是检测对了，没病也检测的TN也是检测对了。准确率(Accuracy)=预测正确样本数/总样本数。

sklearn.metrics模块提供accuracy_score函数，形式如下所示：sklearn.metrics.accuracy_score(y_true,y_pred,normalize)精确率精确率（Precision）又称为查准率，容易和准确率混淆。精确率只是针对预测正确的正样本而不是所有预测正确的样本，精准率是正确预测的正例数/预测正例总数。公式如下所示：sklearn.metrics模块提供precision_score函数，形式如下所示：sklearn.metrics.precision_score(y_true,y_pred)召回率召回率（Recall）就是所有准确的条目有多少被检索出来，召回率可理解为查全率。查准率和查全率是一对矛盾的度量。一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。召回率是正确预测的正例数/实际正例总数sklearn.metrics模块提供recall_score函数，形式如下所示：recall_score(y_true,y_pred,average)F1scoreF1分数（F1Score）用于衡量二分类模型精确度,是精确率和召回率的调和值，变化范围在0-1。F1计算公式如下所示：sklearn.metrics模块提供f1_score函数，形式如下所示：f1_score(y_test,predictions,average="micro")ROC曲线ROC全称是“受试者工作特征”（ReceiverOperatingCharacteristic）曲线，用于描述混淆矩阵中FPR-TPR两个量之间的相对变化情况。ROC曲线的横轴是FPR，纵轴是TPR。ROC曲线用于描述样本的真实类别和预测概率。AUC面积 AUC（AreaUnderCurve）是指ROC曲线下的面积，由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC只能用于评价二分类，直观的评价分类器的好坏，值越大越好

sklearn.metrics模块提供roc_auc_score函数，形式如下所示：sklearn.metrics.roc_auc_score(y_true,y_score)分类评估报告sklearn中的classification_report函数用于显示主要分类指标的文本报告，显示每个类的精确度、召回率、F1值等信息。classification_report函数形式如下所示

classification_report(y_true,y_pred,labels,target_names)回归评估方法平均绝对误差均方误差r2_score平均绝对误差平均绝对误差(MeanabsoluteError,MAE),又被称为l1。是指预测值与真实值之间平均相差多大，反映预测值误差的实际情况，用于评估预测结果和真实数据集的接近程度的程度，其值越小说明拟合效果越好Sklearn提供了mean_absolute_error用于平均绝对误差，如下所示：mean_absolute_error(y_true,

y_pred)均方误差均方误差（MeanSquaredError，缩写MSE）,又被称为l2。反映观测值与真值偏差的平方和与观测次数的比值，是指预测值与真实值之差的平方和的平均值，其值越小说明拟合效果越好。Sklearn提供了mean_squared_error用于均方误差，如下所示：mean_squared_error(y_true,

y_pred)

r2_score在分类问题中，用F1_score分类。在回归问题中有相应的决定系数（Coefficientofdetermination），又被称为R2_scor