分类器的评估

1、分类器的评估张英张英混淆矩阵与分类准确率多分类问题多分类问题的混淆矩阵的混淆矩阵预测结果类预测结果类c1c2ck总总实实际际类类c1c2ck总总n准确率准确率误误分类率分类率分类模型的评价指标二分类1. 准确率与误准确率与误分类率分类率准确率准确率 =(tp+tn) )/(tp+fn+fp+tn)误分类率误分类率=(fn+fp)/(tp+fn+fp+tn)真正率（真正率（灵敏度）灵敏度） =tp/(tp+fn)真负率（特指度）真负率（特指度） =tn/(fp+tn) 假正率假正率 =fp/(fp+tn) 假负率假负率 =fn/(tp+fn)二分类问题二分类问题的混淆矩阵的混淆矩阵预测结果类预测

2、结果类+-总总实实际际类类+ tp fntp+fn- fp tnfp+tn总总tp+fpfn+tntp+fn+fp+tn不平衡分布类二类分类问题的混淆矩阵预测结果类+5-95实际类+5+(tp)2+-(fn)3-95-+(fp)3(tn)92误分类误分类率：率：6% 真正率：真正率：40% 模型有效吗？模型有效吗？评估指标评估指标2. 精度精度 P=tp / (tp+fp) 3. 召回率（真正率、灵敏召回率（真正率、灵敏度、识别率）度、识别率） R=tp/(tp+fn)4.FSCORE 精度和召回率精度和召回率 的调和均值：的调和均值：召回率和精度的权重相同：召回率和精度的权重相同： F =

3、2RP/(R+P)将召回率的权重设为精度的将召回率的权重设为精度的倍倍：二分类问题的二分类问题的混淆矩阵混淆矩阵预测结果类预测结果类+-总总实实际际类类+ tp fntp+fn- fp tnfp+tn总总tp+fpfn+tntp+fn+fp+tn评估指标二分类问二分类问题的误分题的误分类代价类代价预测结果类预测结果类+-总总实际实际类类+C(+,+) C(+,-) C(+,+)*TP+C(+,-)*FN-C(-,+) C(-,-) C(-,+)*FP+C(-,-)*TN5. 误分类代价误分类代价 （成本或收益）（成本或收益） 误分类代价对称误分类代价对称 C(+,+)=C(-,-)=0 C(+

4、,-)=C(-,+)=1 误分类代价不对称误分类代价不对称 关注正类 If post(+)*C(+,-) post(-)*C(-,+) then (+) 成本收益矩阵： 成本角度 收益角度预测性能评估指标的选择预测性能评估指标的选择 平衡分布类，对称误分类代价 准确率、误分类率，准确率、误分类率，精度、召回率、FSCORE 不平衡分布类，对称误分类代价 精度，召回率，精度，召回率，FSCORE 不对称误分类代价 成本或收益成本或收益模型评估方法Hold方法方法将将数据分成训练集数据分成训练集和验证（测试）集和验证（测试）集，一般，一般按照按照2:1比例比例划分，以验证集指标进行评估；划分，以验

5、证集指标进行评估；多次随机采样多次随机采样进行进行N次次上述上述Hold法的法的随机采样，然后计算随机采样，然后计算N个测个测试精度的平均值试精度的平均值自助法（自助法（bootstrap)（最常用的（最常用的.632自助法）自助法）进行进行N次有放回的均匀采样，获得的数据集作为训次有放回的均匀采样，获得的数据集作为训练集，原数据集中未被抽中的其它观测形成验证练集，原数据集中未被抽中的其它观测形成验证集。可重复集。可重复K次，计算准确率：次，计算准确率：模型评估方法交叉验证交叉验证 数据数据集小的时候，可将数据集集小的时候，可将数据集分成分成K个个不相不相交的等大数据子集，每次交的等大数据子集

6、，每次将将K-1个数据集作为训个数据集作为训练集，将练集，将1个数据集作为验证（测试）集，个数据集作为验证（测试）集，得得到到K个个测试精度，然后测试精度，然后计算计算K个个测试指标的平均测试指标的平均值值。留留一交叉验证：一交叉验证：K=N；分层交叉验证：每个部分中保持目标变量的分分层交叉验证：每个部分中保持目标变量的分布。布。模型评估方法讨论各种模型评估方法有何特点？不同分类器预测准确度差异的显不同分类器预测准确度差异的显著性检验著性检验 T检验（自由度为检验（自由度为K-1）以交叉验证为例（以交叉验证为例（k为验证集观测分折数）：为验证集观测分折数）：相同验证集：相同验证集：不同验证集：

7、不同验证集：不同分类器预测准确度差异的显不同分类器预测准确度差异的显著性检验著性检验分类器预测准确度分类器预测准确度置信区间置信区间分类器分类器预测预测真正真正准确度准确度p=其中：N：验证集观测个数； acc：基于当前验证集分类器的准确度；ROC曲线（receiver operating characteristic) 曲线下方面积越大，模型越好，即曲线与曲线下方面积越大，模型越好，即曲线与y轴正向的夹角越小轴正向的夹角越小越好。越好。真正率真正率假正率假正率二分类问题二分类问题的混淆矩阵的混淆矩阵预测结果类预测结果类+-总总实实际际类类+ tp fntp+fn- fp tnfp+tn总总t

8、p+fpfn+tntp+fn+fp+tn制作ROC曲线验证集共有验证集共有10个观测，其中正类（个观测，其中正类（P类）类）5个，负类（个，负类（N类）类）5个个将验证集各观测按照预测为正类的概率降序将验证集各观测按照预测为正类的概率降序排列，排列，每个观测计算对应每个观测计算对应的真正率和假正率，形成一个的真正率和假正率，形成一个点。点。提升图假定：假定： 目标变量的取值为目标变量的取值为GOOD 和和BAD N 为验证集观测个数；为验证集观测个数； RGOOD为验证集目标变量取为验证集目标变量取 值为值为GOOD的观测个数；的观测个数； p_good为验证集目标变量为验证集目标变量 预测为

9、预测为GOOD的概率值；的概率值；验证集的混验证集的混淆矩阵淆矩阵预测预测结果类结果类goodbad总总实实际际类类good tp fnRGOODbad fp tnRbad总总N绘制提升图1.将验证集各观测按照将验证集各观测按照p_good降序排列降序排列,等分成等分成10组。组。2.以以10个分组为横坐标个分组为横坐标 以下指标分别为纵坐标：以下指标分别为纵坐标：%response：每组中实际为：每组中实际为GOOD的观测个数占本组总的观测个数占本组总个数的比例个数的比例;%captured response:每组中实际为每组中实际为GOOD的观测个数的观测个数占占RGOOD的比例的比例;%

10、cumulative response:前面各组中实际为前面各组中实际为GOOD的观测的观测个数占前面各组总个数的比例个数占前面各组总个数的比例%cumulative captured response:前面各组中实际为前面各组中实际为GOOD的观测个数占的观测个数占RGOOD的比例。的比例。lift value=使用模型以后的使用模型以后的% response/ 不使用任何模不使用任何模型进行决策的型进行决策的% response提升图某公司发送了某公司发送了1000封广告邮件，有封广告邮件，有200个客户响应了邮件（即由于个客户响应了邮件（即由于收到邮件而在该公司产生了消费行为）。每个收到

11、邮件而在该公司产生了消费行为）。每个10分分位（位（100个观测）的个观测）的响应者个数根据对验证数据集的计算得到。响应者个数根据对验证数据集的计算得到。不平衡分布类处理技术 过抽样技术对稀有类重复抽样 欠抽样技术对多数类随机抽样 阈值移动技术 组合技术决策阈值选择 根据每个观测预测为每个目标类的根据每个观测预测为每个目标类的概率决定该观测的目标类值。概率决定该观测的目标类值。 对二分类：对二分类： 理论阈值理论阈值 p=1/(1+1/B) B=C（-，+）/C（+，-） 根据提升图和实际业务背景选根据提升图和实际业务背景选择合适的分组比例。择合适的分组比例。 根据分组比例决定最终决策阈根据分组比例决定最终决策阈值。值。提高分类准确率技术组合分类构建组合分类器方法 通过有放回抽样产生多个训练数据集例如：装袋与提升 通过选择输入变量的子集形成多个训练数据集例如：随机森林 通过将目标类随机分为两组转化为二分类形成多个训练数据集例如：错误-纠正输出编码 一个训练集建立多个分类器例如：联合方法装袋与提升方法 装袋：有放回随机抽样，多