版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
模型评价方法1机器学习任务介绍分类指标回归指标聚类分析指标KS值洛伦兹曲线与基尼系数PSI普林大数据学院目录在机器学习过程中,存在不同的任务,针对具体任务进行分析的时候,需要使用不同的评价指标。分类是通过训练数据建立预测模型,并利用模型将需要预测的数据样本划分到已知的几个类别中的一个的过程。回归通过数据构建自变量与因变量之间的定量映射关系。与分类不同的是,回归模型预测的往往是连续的值。聚类是将数据分类到不同的类或者簇这样的一个过程,所以同一个簇中的对象有很大的相似性,而不同簇间的对象有很大的相异性。聚类与分类的不同在于,聚类所要求划分的类是未知的。
模型类型机器学习任务介绍分类指标回归指标聚类分析指标KS值洛伦兹曲线与基尼系数PSI目录在分类问题中,对于每一个样本存在两种角度的标签:一个是样本真实的标签,一个是模型预测的标签。根据每一个样本的两种角度的标签,可以得到一个混淆矩阵(ConfusionMatrix)。
混淆矩阵的每一列代表了预测类别,每一列的总数表示预测为该类别的样本的数目。每一行代表了样本的真实归属类别,每一行的数据总数表示该类别的样本的数目。分类模型的评价指标主要基于混淆矩阵,下面将介绍二分类模型和多分类模型的性能评价指标。分类指标二分类问题中对应混淆矩阵:预测标签10真实标签1TPFP0FNTNTruePositive(TP):样本真实类别为正,预测类别也为正。TrueNegative(TN):样本真实类别为负,预测类别也为负。
FalsePositive(FP):样本真实类别为负,预测类别为正。
FalseNegative(FN):样本真实类别为正,预测类别为负。混淆矩阵在分类问题中最常见的指标是正确率(Accuracy),表示模型预测正确的样本比例。正确率的定义如下:正确率对于不平衡数据,正确率作为评估指标表现较差,精度(precision)和召回率(recall)是比正确率更好的性能评价指标。精度(Precision)是指正确预测的正样本占所有预测为正样本的比例。召回率(Recall),又称灵敏度和命中率,是指正样本中,被正确预测的比例。
精度与召回率通常精度和召回率是负相关的,实际应用中高精度往往对应低召回率,反之亦然。我们需要根据实际问题场景和需求来在精度和召回率指标上做权衡。单独考虑精度和召回率是片面的,两种需要综合考虑。在二分类问题中,可以定义一个综合考虑精度和召回率的指标,这个指标为F值。广义上的F值定义如下:其中为β正数,其作用是调整精度和召回率的权重。β越大,召回率的权重更大;β越小,则精度的权重更大。F1值当β=1时,精度和召回率的权重一样,此时称为F1值,它是精度和召回率的调和平均数。
F1值Kappa是用于计算分类精度和评价一致性的指标。Kappa值公式如下:
其中,po
为准确率,表明实际一致率,即混淆矩阵中对角线单元格中所有值的总和所占的比例;pe为正确预测的各分类数值的期望,表明理论一致率。
Kappa以下是一个利用二分类混淆矩阵计算Kappa值的例子。预测标签10Total真实标签1201030051520Total252550KappaKappa值的范围是[-1,1]。通常情况下,我们认为kappa=1:说明两组结果完全一致kappa=-1:说明两组结果完全不一致kappa=0:说明两组结果是偶然造成的kappa<0:说明两组结果很不一致,比偶然造成还差,没有实际应用的意义kappa>0:说明有意义,值越大,表明结果越一致kappa
≥
0.75:说明结果很一致,基本达到理想状态kappa<0.4:说明一致程度不够理想KappaROC曲线和AUC是一个从整体上评价二分类模型优劣的指标,其中AUC是ROC曲线与横轴之间的面积。相比于其他评价指标,ROC曲线具有一定的稳定性,它不会因为正负样本分布的变化而产生不同的曲线。现实状况中,正负样本分布不均衡的情况比较普遍,所以ROC曲线和AUC是一个重要的评价指标。
ROC曲线通过真阳率(TruePositiveRate,TPR)和假阳率(FalsePositiveRate,FPR)两个指标进行绘制。真阳率又称为敏感度(Sensitivity),表示真实标签为正向的样本中,模型预测也是正向的样本比例。可见,真阳率和召回率是等价的指标。假阳率表示真实标签是负向的样本中,模型预测为正向的比例。ROC与AUC
真阳率和假阳率的定义为
通过调整模型的阈值,我们可以得到一组TPR和FPR。以FPR作为横轴,TPR作为纵轴,可以针对一个模型绘制ROC曲线。ROC曲线下面积(AreaUnderCurve,AUC)代表了模型性能的好坏。一个随机的模型在ROC曲线中是一条直线,ROC曲线下面积为0.5。完美的模型在ROC曲线的(0,1)。通过调整阈值,ROC曲线是经过(0,0),(0,1),(1,1)三个点的曲线,此时ROC曲线下面积为1。ROC与AUCROC与AUCAUC的数值范围是[0,1],值越大说明模型越好。AUC>0.75可以认为是一个比较理想的模型。AUC=0.5:说明模型与偶然造成的结果效果差不多AUC<0.5:说明模型不如偶然造成的效果AUC>0.5:说明模型较好在多分类模型下,一般来讲ROC和AUC并不适用,与二分类模型相比,可以直接适用的评价指标包括准确度,而其他的评价指标,都需要进行一定程度的转化。对于混淆矩阵,由于多分类问题,矩阵从2×2的结构变成了n×n(n>2)。也不可以直接通过TP,TN,FP,FN来标注各单元格所代表的含义。多分类模型评价指标中,精度、召回率都是计算的平均值。将每一个分类都当作是正样本,非此分类皆为负样本,转化为一个多次的二分类模型。计算每一个二分类模型的精准率和召回率,取平均数得到多分类模型的平均精准率和召回率,再通过调和平均计算出F1值。多分类问题?现有743条贷款数据,每条数据15个相关变量,分别是status和14个模型变量,status变量作为y值,0表示没有违约、1表示违约。变量有:年龄(age)薪水(salary性别(gender)教育程度(education)毕业年份(graduated.years)婚姻状态(marriageStatus)有无小孩(hasChild)有无房子(hasHouse)有无房贷(houseLoan)有无车贷(carLoan)有无车子(hasCar)工作年限(workYears)公司规模(officeScale)有无信用卡(credit)贷款预测实例
建模过程主要用到pandas和sklearn包,模型评价使用sklearn中metrics模块相关方法。#导入相关的包importpandasaspdfromsklearn.metricsimportaccuracy_score,f1_score,precision_score,recall_score,roc_auc_score,confusion_matrixfromsklearn.linear_modelimportLogisticRegressionfromsklearn.cross_validationimporttrain_test_split#文件读取data=pd.read_csv('rrd_data.csv')target=data['status']data=data.ix[:,1:]#划分训练集和测试集x_train,x_test,y_train,y_test=train_test_split(data,target,test_size=0.2,random_state=33)贷款预测实例#模型训练lr_clf=LogisticRegression()lr_clf.fit(x_train,y_train)#模型预测pred=lr_clf.predict(x_test)#生成混淆矩阵confusion_matrix(y_test,pred)Out[2]:array([[123,4],[21,1]])#计算各指标accuracy=accuracy_score(y_test,pred)f1_value=f1_score(y_test,pred)precision=precision_score(y_test,pred)recall=recall_score(y_test,pred)Out[3]:theaccuracy:0.832214765101,thef1:0.0740740740741,theprecision:0.2,therecall:0.0454545454545贷款预测实例机器学习任务介绍分类指标回归指标聚类分析指标KS值洛伦兹曲线与基尼系数PSI目录
回归评价指标平均绝对误差(MeanAbsoluteError,MAE)是所有单个观测值与算术平均值的偏差的绝对值的平均。
与平均误差相比,平均绝对误差由于离差被绝对值化,不会出现正负相抵消的情况,因而,平均绝对误差能更好地反映预测值误差的实际情况。
平均绝对误差均方误差(MeanSquaredError,MSE)是衡量“平均误差”的一种较方便的方法,可以评价数据的变化程度。均方根误差是均方误差的算术平方根。均方误差均方根误差(RootMeanSquareError,RMSE)是均方误差的算数平方根。均方根误差决定系数R2(CoefficientofDetermination)指的是回归平方和占总误差平方和的比例。R2R2反应的是反映回归直线的拟合程度,其取值范围在[0,1]之间。
R2越趋近于1,说明回归方程拟合的越好;R2越趋近于0,说明回归方程拟合的越差。
绝对系数回归分析实例模型使用sklearn包中boston数据集,使用多个变量预测boston房价。该数据集包含506条样本,14个变量,y值为房价,任务目标是建立房价的回归预测模型。回归分析实例#导入相关的包和数据fromsklearn.datasetsimportload_bostonfromsklearn.linear_modelimportLinearRegressionfromsklearn.metricsimportr2_score,mean_absolute_error,mean_squared_errorboston=load_boston()data=pd.DataFrame(boston.data,columns=boston.feature_names)target=boston.target#划分训练集和测试集x_train,x_test,y_train,y_test=train_test_split(data,target,test_size=0.2,random_state=33)回归分析实例#使用线性回归拟合训练集lr_reg=LinearRegression()lr_reg.fit(x_train,y_train)#使用线性回归进行预测pred=lr_reg.predict(x_test)#计算各回归指标r2=r2_score(y_test,pred)mae=mean_absolute_error(y_test,pred)mse=mean_squared_error(y_test,pred)rmse=mse**0.5ther2:0.692368845954,themae:3.52221482258,themse:22.0369942061,thermse:4.69435769899回归分析实例机器学习任务介绍分类指标回归指标聚类分析指标KS值洛伦兹曲线与基尼系数PSI目录聚类是一种无监督学习模型,其任务是按照特定的相似度度量将样本进行分组,使得同组数据尽量相似而不同组数据尽量不相似。对于聚类模型,因为没有y值,所以很难像监督学习模型去评估其好坏。总体来说,针对于聚类算法,基本策略还是看其各簇的聚集程度以及收集一部分基准(GroundTruth)来进行评价。通常会从以下几个方面评估聚类模型:数据集的聚类趋势簇的个数聚类分析结果对数据的拟合情况比较两个簇集将聚类结果与已知的基准结果比较
聚类评价指标聚类模型的性能指标主要分为内部指标(InternalIndex)和外部指标(ExternalIndex)两类。内部指标不需要数据集样本的类标签,直接根据聚类结果中簇内相似度和簇间的分离度进行聚类质量评估。外部指标将聚类结果得到类标签和已知类标签进行比较,此评价法的前提是数据集样本的类标签已知。对于前三个方面,从簇的凝聚度、分离度等角度去评估就可以,并不需要外部数据的支持,所以称之为内部指标。聚类评价指标
轮廓系数(SilhouetteCoefficient)综合了簇的凝聚度和分离度两个指标。
其中:
ai是第i个对象到所属簇中所有其他对象的平均距离,bi是第i个对象到给定簇中所有对象的平均距离,并针对所有的不包含该对象的任意簇,找出其中的最小值。轮廓系数的数值范围是[-1,1],数值越大越好(ai<bi),即ai越接近于0越好。轮廓系数
监督指标都是值具有基准结果的情况下才可以使用。通常来说,我们使用聚类算法,正是因为没有基准结果。但是可以根据先验知识划分出结果作为标准(如,将领域专家给出的划分结果作为参考模型)。
外部指标
对于数据集中任意两个互异的数据xm和xn
,我们可以按照他们在参考模型结构A中和预测聚类结构P中是否属于同一个簇,来判断两种聚类结构是否具有强相似性。
根据这种关系,我们能得到四种不同可能性:SS:
xm和xn在结构P和A中均属于同一个簇。SD:
xm和xn在结构P中属于同一个簇,而在A中属于不同的簇。DS:
xm和xn在结构P中属于不同的簇,而在结构A中属于同一个簇。DD:
xm和xn在结构P和结构A中都属于不同的簇。基于这四种可能性,我们可以定义出不同的评价指标常见的Rand指数、Jaccard系数、FM指数和准确度等。外部指标Rand指数(RandIndex,RI)类似于分类模型中的准确度指标,其具体定义如下:
Rand指数取值单位为[0,1],取值越大,值越大意味着聚类结果与真实情况越吻合。Rand指数对于随机结果,Rand指数并不能保证分数接近零。为了实现“在聚类结果随机产生的情况下,指标应该接近0”,调整Rand系数(AdjustedRandIndex,ARI)被提出,它具有更高的区分度:ARI取值范围为[-1,1],值越大意味着聚类结果与真实情况越吻合。从广义的角度来讲,ARI衡量的是两个数据分布的吻合程度。
调整Rand系数ARIJaccard系数
Jaccard系数(JaccardCoefficient,JC),用来比较样本集中的相似性和分散性的一个概率,常常用来作为文档的相似性度量。利用Jaccard系数可以计算聚类结果与参考模型的相似性,从而对聚类结果进行评价。聚类分析实例iris以鸢尾花的特征作为数据来源,常用在分类操作中。该数据集由3种不同类型的鸢尾花的50个样本数据构成。该数据集包含了5个属性Sepal.Length(花萼长度),单位是cm;Sepal.Width(花萼宽度),单位是cm;Petal.Length(花瓣长度),单位是cm;Petal.Width(花瓣宽度),单位是cm;种类:IrisSetosa(山鸢尾)、IrisVersicolour(杂色鸢尾),以及IrisVirginica(维吉尼亚鸢尾)。本实验利用鸢尾花的四个变量进行聚类,将数据聚集到三个簇中,使用调整Rand系数ARI对聚类结果进行评价。聚类分析实例#导入相关包和数据fromsklearn.datasetsimportload_irisfromsklearn.clusterimportKMeansfromsklearn.metricsimportadjusted_rand_scoreiris=load_iris()X=iris.datay=iris.target#进行聚类建模estimator=KMeans(n_clusters=3)estimator.fit(X)labels=estimator.labels_#计算ARIARI=adjusted_rand_score(labels,y)Out[9]:adjustedrandindex:0.730238272283目录机器学习任务介绍分类指标回归指标聚类分析指标KS值洛伦兹曲线与基尼系数PSI区隔力指标区隔力是指模型对于好坏客户的辨识能力,区隔力越强,表示模型的准确性越高。若借由评分可以精确的区分好坏客户,那就是理想模型,但是,现实中往往无法做到。绝大多数状况下,坏客户集中在低分区域,好客户集中在高分区域,两者有一定程度重合,建模人员要做的就是尽可能区分好坏客户。常用的区隔力指标有K-
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026事业单位工勤技能-山东-山东工程测量员三级(高级工)历年参考题库含答案详解
- 2026事业单位工勤技能-安徽-安徽水文勘测工五级(初级工)历年参考题库含答案详解
- 2025年皖北卫生职业学院单招职业技能考试题库完美版
- 中医内科学执业医师笔记
- 《比的意义》教学反思
- 2026年线上线下品牌融合与创新研究报告
- 2026年钢铁行业网络安全等级保护与风险控制报告
- 2026年生物科技行业服务盈利模式创新分析报告
- 2026年鞋业企业团队建设与文化执行力强化报告
- 2026年共享经济行业研究报告:市场动态与用户画像研究
- 医保结算、对账管理制度
- 东营港东营港区环抱港池内航道维护性疏浚工程环境影响报告书
- 熔化焊接与热切割培训课件
- 12J9-1 室外工程图集
- ReFi动态养老财务模型目标基准点及养老财务相关知识测试题附答案
- GB/T 29911-2025汽车租赁服务规范
- 河大版小学信息技术课件教学
- 贝壳租房合同协议
- T-CALC 007-2025 重症监护病房成人患者人文关怀规范
- 《农村既有居住建筑抗震鉴定与加固技术标准》
- ABBdcs组态课件CONDUCTORVMS操作
评论
0/150
提交评论