机器学习第2章 模型评估与选择

第2章模型评估与选择,1,主要内容,经验误差与过拟合评估方法性能度量比较检验偏差与方差,2,2020/4/29,误差,误差（error）：学习器实际预测输出与样本真实输出之间的差异训练集：训练误差（trainingerror），（经验误差，empiricalerror）训练集的补集：泛化误差（generalizationerror）我们希望泛化误差小的学习器,3,2020/4/29,过拟合,过拟合（overfitting）：训练过度使泛化能力下降欠拟合（underfitting）：未能学好训练样本的普遍规律过拟合是机器学习的关键障碍且不可避免！模型误差包含了数据误差，或者说模型信息中包含了噪声。,4,2020/4/29,学习器泛化评估实验测试,测试集：测试误差（testingerror）训练集和测试集组成数据集。假设测试样本是从真实分布中采样而得，避免因数据划分引入偏差。测试集应与训练集互斥。,5,2020/4/29,6,2020/4/29,调参与最终模型,参数调节（parametertuning）算法参数人工设定候选值模型参数通过学习产生候选模型数据集训练集训练估计模型验证集模型参数调整测试集估计泛化能力学习算法和参数配置确定后要用整个数据集重新训练模型,7,2020/4/29,性能度量,性能度量（performancemeasure）：衡量模型泛化能力的评价标准回归（regression）：均方误差（meansquarederror）离散数据：;=1=1()2连续数据：;=2分类（classification）：错误率（errorrate）和精度（accuracy）离散数据：;=1=1(),acc;=1=1(=)连续数据：;=,acc;=,8,2020/4/29,任务需求以二分类为例,混淆矩阵（confusionmatrix），非对角，纠缠相查准率（precision）：=+查全率（recall）：=+P-R曲线面积、平衡点（Break-Even-Point，BEP）1度量：,的调和平均度量：,的加权调和平均,9,2020/4/29,多混淆矩阵,先分别计算查准率和查全率，再平均宏查准率（macro）：macro=1=1宏查全率（macro）：macro=1=1宏1（macro1）先平均各混淆矩阵对应元素，再计算查准率和查全率微查准率（micro）：micro=+微查全率（micro）：micro=+微1（micro1）,10,2020/4/29,ROC与AUC,受试者工作特征曲线（ReceiverOperatingCharacteristic）横轴假正例率：FPR=+纵轴真正利率：TPR=+AUC（AreaUnderROCcurve）AUC=12=11(+1)(+1)AUC反应样本预测的排序质量AUC=1(排序损失),11,2020/4/29,代价敏感错误率与代价曲线,非均等代价（unequalcost）代价矩阵（costmatrix）代价敏感错误率：加权的错误率代价曲线（costcurve）：横轴正例概率代价+=0101+(1)10纵轴归一化代价=FNR01+FPR(1)1001+(1)10,12,2020/4/29,比较检验,如何比较？从统计的角度统计假设检验（hypothesistest）：根据测试错误率估计推断泛化错误率的分布。提出假设找到符合某种概率分布的中间变量利用该概率分布确定在某个置信度（confidence）下是否接受该假设,13,2020/4/29,单个学习器,二项检验泛化错误率为的学习器，个测试样本，测试错误率为假设“0”，置信度为1，拒绝域为，其中临界值=maxs.t.=0+1(1)/2,14,2020/4/29,一个数据集多个学习器,成对t检验学习器A和B，折交叉验证法得测试错误率和(=1,)计算得差值及它们的均值和样本方差2假设“=”，显著度，拒绝域为=/2McNemar检验学习器A和B，留出法得列联表（contingencytable）假设“01=10”，显著度，拒绝域为2=(01101)201+102,15,2020/4/29,多个数据集和多个学习器,Friedman检验由数据集1,对算法A(=1,)测试结果排序得算法平均序值假设“各算法性能相同”，显著度，拒绝域为=(1)2121,11(/2)，其中2=12+1(=12(+1)24)Nemenyi后续检验若假设被拒绝，计算平均序值差别的临界值域=(+1)6假设“两个算法性能相同”，显著度，拒绝域为,16,2020/4/29,偏差与方差,泛化误差可分解为偏差、方差和噪声之