数据挖掘模型选择课件

数据挖掘模型选择,模型评估与选择,数据挖掘模型选择,泛化误差vs经验误差,泛化误差：在“未来”样本上的误差经验误差：在训练集上的误差，亦称“训练误差”,训练数据,模型,新样本数据,新样本属于什么类别？,数据挖掘模型选择,过拟合vs欠拟合,数据挖掘模型选择,模型选择,三个关键问题：如何获得测试结果评估方法如何评估性能优劣性能度量如何判断实质差别比较检验,数据挖掘模型选择,评估方法,关键：怎么获得“测试集”？原则：测试集与训练集“互斥”常见方法：留出法（hold-out）交叉验证法（crossvalidation）自助法（bootstrap）,数据挖掘模型选择,留出法,保持数据分布一致性（例如：分层采样）多次重复划分（例如：100次随机划分）测试集不能太大、不能太小（例如：1/51/3）,数据挖掘模型选择,K-折交叉验证法,当K=m时，则得到“留一法”（leave-one-out,LOO）,数据挖掘模型选择,自助法,基于“自助采样”（bootstrapsampling）Pullupbyyourownbootstraps有放回采样、可重复采样训练集与原样本集同规模数据分布有所改变约有36.8%的样本不出现,包外估计：out-of-bagestimation,数据挖掘模型选择,模型选择,三个关键问题：如何获得测试结果评估方法如何评估性能优劣性能度量如何判断实质差别比较检验,数据挖掘模型选择,性能度量,性能度量（performancemeasure）是衡量模型泛化能力的评价标准，反映了任务需求使用不同的性能度量往往会导致不同的评判结果什么样的模型是“好”的，不仅取决于算法和数据，还取决于任务需求。,数据挖掘模型选择,性能度量,回归任务分类任务错误率与精度查准率、查全率与F1,数据挖掘模型选择,性能度量错误率与精度,错误率精度,数据挖掘模型选择,性能度量查准率与查全率,查准率：precision，准确率，P预测结果中是正例的比率查全率：recall，sensitivity,召回率，R所有的正例中被正确预测出的比列,数据挖掘模型选择,TruePositiveRate,TPR,(Sensitivity)TrueNegativeRate,TNR,(Specificity)PositivePredictiveValue,PPVFalsePositiveRate,FPRFalseNegativeRate,FNRFalseDiscoveryRate,FDR,数据挖掘模型选择,PR图：学习器A优于学习器C学习器B优于学习器C学习器A？学习器B,平衡点(BEP)（Break-EvenPoint,）学习器A优于学习器B学习器A优于学习器C学习器B优于学习器C,数据挖掘模型选择,性能度量F1度量,数据挖掘模型选择,性能度量ROC与AUC,数据挖掘模型选择,集成学习,定义：通过构建并结合多个学习器来完成学习任务，又称为：多分类学习器系统、基于委员会的学习等。两大类个体学习器间存在强依赖关系，必须串行生产的序列化方法：Boosting个体学习器间不存在强依赖关系，可同时生成的并行化方法：BaggingandRandomForest,数据挖掘模型选择,集成学习随机森林,Bagging策略bootstrapaggregation从样本集中重采样(有重复的)选出n个样本在所有属性上，对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等)重复以上两步m次，即获得了m个分类器将数据放在这m个分类器上，最后根据这m个分类器的投票结果，决定数据属于哪一类,数据挖掘模型选择,数据挖掘模型选择,随机森林在bagging基础上做了修改。从样本集中用Bootstrap采样选出n个样本；从所有属性中随机选择k个属性，选择最佳分割属性作为节点建立CART决策树；重复以上两步m次，即建立了m棵CART决策树这m个CART形成随机森林，通过投票表决结果，决定数据属于哪一类,数据挖掘模型选择,投票机制,简单投票机制一票否决(一致表决)少数服从多数有效多数(加权)阈值表决贝叶斯投票机制,数据挖掘模型选择,但也可以使用SVM