数据挖掘模型选择.ppt

模型评估与选择 泛化误差vs经验误差 泛化误差 在 未来 样本上的误差经验误差 在训练集上的误差 亦称 训练误差 训练数据 模型 新样本数据 新样本属于什么类别 过拟合vs欠拟合 模型选择 三个关键问题 如何获得测试结果 评估方法如何评估性能优劣 性能度量如何判断实质差别 比较检验 评估方法 关键 怎么获得 测试集 原则 测试集与训练集 互斥 常见方法 留出法 hold out 交叉验证法 crossvalidation 自助法 bootstrap 留出法 保持数据分布一致性 例如 分层采样 多次重复划分 例如 100次随机划分 测试集不能太大 不能太小 例如 1 5 1 3 K 折交叉验证法 当K m时 则得到 留一法 leave one out LOO 自助法 基于 自助采样 bootstrapsampling Pullupbyyourownbootstraps有放回采样 可重复采样训练集与原样本集同规模数据分布有所改变约有36 8 的样本不出现 包外估计 out of bagestimation 模型选择 三个关键问题 如何获得测试结果 评估方法如何评估性能优劣 性能度量如何判断实质差别 比较检验 性能度量 性能度量 performancemeasure 是衡量模型泛化能力的评价标准 反映了任务需求使用不同的性能度量往往会导致不同的评判结果什么样的模型是 好 的 不仅取决于算法和数据 还取决于任务需求 性能度量 回归任务分类任务错误率与精度查准率 查全率与F1 性能度量 错误率与精度 错误率精度 性能度量 查准率与查全率 查准率 precision 准确率 P预测结果中是正例的比率查全率 recall sensitivity 召回率 R所有的正例中被正确预测出的比列 TruePositiveRate TPR Sensitivity TrueNegativeRate TNR Specificity PositivePredictiveValue PPVFalsePositiveRate FPRFalseNegativeRate FNRFalseDiscoveryRate FDR PR图 学习器A优于学习器C学习器B优于学习器C学习器A 学习器B 平衡点 BEP Break EvenPoint 学习器A优于学习器B学习器A优于学习器C学习器B优于学习器C 性能度量 F1度量 性能度量 ROC与AUC 集成学习 定义 通过构建并结合多个学习器来完成学习任务 又称为 多分类学习器系统 基于委员会的学习等 两大类个体学习器间存在强依赖关系 必须串行生产的序列化方法 Boosting个体学习器间不存在强依赖关系 可同时生成的并行化方法 BaggingandRandomForest 集成学习 随机森林 Bagging策略bootstrapaggregation从样本集中重采样 有重复的 选出n个样本在所有属性上 对这n个样本建立分类器 ID3 C4 5 CART SVM Logistic回归等 重复以上两步m次 即获得了m个分类器将数据放在这m个分类器上 最后根据这m个分类器的投票结果 决定数据属于哪一类 随机森林在bagging基础上做了修改 从样本集中用Bootstrap采样选出n个样本 从所有属性中随机选择k个属性 选择最佳分割属性作为节点建立CART决策树 重复以上两步m次 即建立了m棵CART决策树这m个CART形成随机森林 通过投票表决结果 决定数据属于哪一类 投票机制 简单投票机制一票否决 一致表决 少数