数据挖掘模型选择

1、模型评估与选择泛化误差 vs 经验误差 泛化误差：在“未来”样本上的误差 经验误差：在训练集上的误差，亦称“训练误差”训练数据模型新样本数据新样本属于什么类别？过拟合 vs 欠拟合模型选择 三个关键问题： 如何获得测试结果 评估方法 如何评估性能优劣 性能度量 如何判断实质差别 比较检验评估方法 关键：怎么获得“测试集”？ 原则：测试集与训练集“互斥” 常见方法： 留出法（hold-out） 交叉验证法（cross validation） 自助法（bootstrap）留出法 保持数据分布一致性（例如：分层采样） 多次重复划分（例如：100次随机划分） 测试集不能太大、不能太小（例如：1/51/

2、3）K-折交叉验证法当K=m时，则得到“留一法”（leave-one-out, LOO）自助法 基于“自助采样”（bootstrap sampling） Pull up by your own bootstraps 有放回采样、可重复采样 训练集与原样本集同规模 数据分布有所改变 约有36.8%的样本不出现包外估计：out-of-bag estimation模型选择 三个关键问题： 如何获得测试结果 评估方法 如何评估性能优劣 性能度量 如何判断实质差别 比较检验性能度量 性能度量（performance measure）是衡量模型泛化能力的评价标准，反映了任务需求 使用不同的性能度量往往会导

3、致不同的评判结果 什么样的模型是“好”的，不仅取决于算法和数据，还取决于任务需求。性能度量 回归任务 分类任务 错误率与精度 查准率、查全率与F1 性能度量错误率与精度 错误率 精度E(f;D)=1mI(f(xi)yi)i=1macc(f;D)=1mI(f(xi)=yi)=1-E(f;D)i=1m性能度量查准率与查全率 查准率：precision，准确率，P 预测结果中是正例的比率 查全率：recall，sensitivity, 召回率， R 所有的正例中被正确预测出的比列P=TPTP+FpR=TPTP+FNTrue Positive Rate, TPR, (Sensitivity)True

4、Negative Rate, TNR, (Specificity)Positive Predictive Value, PPVFalse Positive Rate, FPRFalse Negative Rate, FNRFalse Discovery Rate, FDRPR图：学习器A优于学习器C学习器B优于学习器C学习器A？学习器B平衡点 (BEP)（Break-Even Point, ）学习器A优于学习器B学习器A优于学习器C学习器B优于学习器C性能度量F1度量性能度量ROC与AUC集成学习 定义：通过构建并结合多个学习器来完成学习任务，又称为：多分类学习器系统、基于委员会的学习等。 两

5、大类 个体学习器间存在强依赖关系，必须串行生产的序列化方法： Boosting 个体学习器间不存在强依赖关系，可同时生成的并行化方法：Bagging and Random Forest集成学习随机森林 Bagging 策略 bootstrap aggregation 从样本集中重采样(有重复的)选出n个样本 在所有属性上，对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等) 重复以上两步m次，即获得了m个分类器 将数据放在这m个分类器上，最后根据这m个分类器的投票结果，决定数据属于哪一类 随机森林在bagging基础上做了修改。 从样本集中用Bootstrap采样选出n个样本； 从所有属性中随机选择k个属性，选择最佳分割属性作为节点建立CART决策树； 重复以上两步m次，即建立了m棵CART决策树 这m个CART形成随机森林，通过投票表决结果，决定数据属于哪一类投票机制 简单投票机制 一票否决(一致表决)