R语言数据分析与挖掘 课件 第7章 模型评估

第7章模型评估Part/

01K折交叉验证什么是交叉验证为了确保模型能够对未知对象进行正确预测，需要对模型性能进行评估，避免模型可能存在的过度适应问题。我们可以利用caret、rminer和rocr这样的算法包来评估模型性能以防止过度适应问题。对模型性能进行评估有助于得到更优化的模型，以便准确预测未知数据什么是交叉验证k折交叉验证方法能够解决过度适应问题，因此被广泛应用于分类器性能评测领域。k折交叉验证方法不需要使用整个数据集，它会将数据集分成训练集和测试集两部分。这样，基于训练集得到的模型就可以通过测试集来完成性能评测。重复执行完n次k折交叉验证后，就能根据n次检验的平均准确率实现对模型性能的真实评估。接下来就详细内容实施k折交叉验证的过程。Part/

02变量重要性排序重要性排序对于监督学习模型，可以通过改变输入值，比较给定模型输出效果的变化敏感程度来评估不同特征对模型的重要性。接下来将展示如何使用caret包给变量重要性排序。重要性排序除了可以使用caret包来判别变量的重要性外，还可以使用rminer包来完成相同的任务。接下来将探讨如何使用rminer包来分析一个训练好的模型中变量的重要性。Part/

03特征选择特征选择在执行回归或分类操作之前，如果能够提前去掉某些高度关联的属性，训练模型的性能则会更好。caret算法包中的findCorrelation函数可以用来找到相互高度关联的属性，接下来将介绍如何借助caret包来找到那些高度关联的属性。特征选择在执行回归或分类操作之前，如果能够提前去掉某些高度关联的属性，训练模型的性能则会更好。caret算法包中的findCorrelation函数可以用来找到相互高度关联的属性，接下来将介绍如何借助caret包来找到那些高度关联的属性。特征选择特征选择方法可以挑选出那些预测误差最低的属性子集，有助于判断究竟应该使用哪些特征才能建立一个精确的模型。在caret包中有一个递归特征排除函数rfe，它能够自动挑选出符合要求的特征。Part/

04模型的性能评估评测回归模型的性能通过计算预测值和实际值之间的差值大小可以评估回归模型预测性能的优劣，常用的误差评测标准包括均方差误差(rootmeansquareerror，RMSE)、相对平方差(relativesquareerror，RSE)以及可决系数(R-square)。利用混淆矩阵

评测模型的预测能力对分类模型进行性能评估，可以基于预测结果和实际分类结果产生一个分类表，然后基于混淆矩阵来获得如模型的精确度、召回率、特异性以及准确率等性能指标。接下来将探讨如何使用caret包来生成混淆矩阵。利用ROCR评测模型的预测能力受试者工作特征曲线(ReceiverOperatingCharacteristic，ROC)是一种常见的二元分类系统性能展示图形，在曲线上分别标注了不同切点的真正率和假正率。我们通常会基于ROC曲线计算处于曲线下方的面积AUC(AreaUnderCurve)，并以此面积来衡量相应分类模型的性能。。利用CARET包比较ROCR曲线每种算法都有其优缺点，因此当面对具体问题应该选择哪种算法最合适时，首先必须能够对不同预测模型的性能进行评估。为了简化这个比较过程，可以使用caret包来生成并比较不同的模型及其性能。接下来将探讨如何利用caret包提供的函数对同一个数据集基于不同算法建立的模型进行性能比较。。利用CARET包比较模型性能差异我们介绍了生成模型的ROC曲线的方法，并将不同模型的ROC曲线绘制在一个图中。除了使用ROC曲线外，我们还可以通过重复采样的