1.3机器学习分类与性能度量

机器学习分类与性能度量主讲人：李侃机器学习分类机器学习分类（续）机器学习分类（续）机器学习分类（续）数据集：训练集（trainingset）、验证集（validationset）和测试集（testset）训练集：用来训练模型算法，通过设置分类器参数，训练分类模型。验证集：训练集训练出的多个模型对验证集数据进行预测，并记录模型准确率。

选出效果最佳的模型所对应的参数，即用来调整模型参数。测试集：用来测试模型的性能和分类能力。机器学习分类（续）

当模型无需人为设定超参数，所有参数都通过学习得到，则不需要验证集。验证集适用多个不同的超参数训练多个模型，通过验证集，选择最好的模型及其相应的超参数。

分类（classification）：输出是离散型变量(如:+1、-1)，是一种定性输出。

(预测明天天气是阴、晴还是雨)

回归(regression)

：输出是连续型变量，是一种定量输出。(预测明天的温度是多少度)。机器学习分类（续）监督学习（supervisedlearning），有导师学习：分类和回归从给定的训练数据集中学习出一个函数（模型参数），当输入新数据时，可以根据这个函数预测结果。输入数据没有标签，样本数据类别未知，需要根据样本间的相似性对样本集进行划分使类内差距最小化，类间差距最大化。基于概率密度函数估计的直接方法基于样本间相似性度量的聚类方法机器学习分类（续）无监督学习（unsupervisedlearning），无导师学习：聚类和维度约简用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。机器学习的范式和方法论之一。机器学习分类（续）强化学习（reinforcementlearning），再励学习、评价学习或增强学习不同于监督学习和无监督学习，强化学习不要求预先给定任何数据，而是通过接收环境对动作的奖励（反馈）获得学习信息并更新模型参数。绪论误差误差（error）指的是模型输出与真值（labels）的偏离程度，通常定义一个损失函数（lossfunction）来衡量误差的大小。

在训练集上的产生误差称为经验误差（empiricalerror）或者训练误差经验误差的大小反映了模型在训练数据上拟合效果的好坏模型在未知样本上的误差称为泛化误差（generalizationerror），通常将测试误差作为泛化误差的近似值泛化误差用于衡量训练好的模型对未知数据的预测能力绪论过拟合与欠拟合模型在训练样本中表现得过于优越，导致在验证数据集以及测试数据集中表现不佳。

指模型在训练和预测时表现得都不好。过拟合（overfitting）欠拟合（under-fitting）绪论评估方法常见方法：留出法（hold-out）交叉验证法（cross

validation）自助法（bootstrap）评估方法留出法ST数据集D训练集S测试集T已有的数据集分为两个互斥的部分

保证数据分布一致

测试集比例一般保持在1/3～1/5评估方法交叉验证法DN1N2N3N4N5Nk…训练测试N1N2N3Nk-1…Nk模型1N1N2Nk-2…Nk-1模型2Nk………………N2N3Nk-1…N1模型mNk求平均m个样本互斥保证数据分布一致

k=m,留一法评估方法自助法数据集D中包含m个样本，对数据集D进行m次有放回采样，采样到的数据构成数据集D′，将D′作为训练集，未出现在D′中的数据作为测试集

。

样本不出现在D′中的概率为：对m取极限数据集D中有大约36.8%的数据不会出现在D′中适用于小数据集改变了数据分布,易引起估计偏差不会减小训练集规模功能：主要用于比较分类结果和实例的真实信息性能度量分类以二分类（正、负）为例：真正(TP)：模型预测为正的正样本假正(FP)：模型预测为正的负样本假负(FN)：模型预测为负的正样本真负(TN)：模型预测为负的负样本混淆矩阵（confusionmatrix），误差矩阵：正确预测的正反例数

/总数性能度量（续）（续）分类准确率（accuracy）

：正确预测的正例数/预测正例总数精确率（precision）

：正确预测的正例数

/实际正例总数召回率（Recall）

：正确预测的正反例数

/总数性能度量（续）（续）分类准确率（accuracy）

：正确预测的正例数/预测正例总数精确率（precision）

：正确预测的正例数

/实际正例总数召回率（Recall）

：正确预测的正反例数

/总数性能度量（续）（续）分类准确率（accuracy）

：正确预测的正例数/预测正例总数精确率（precision）

：正确预测的正例数

/实际正例总数召回率（Recall）

：precision和recall的调和值性能度量（续）（续）分类F-score

β=1时，

F1-score或

F1-Measure，精确率和召回率都很重要，权重相同；β<1时，精确率更重要；β>1时，召回率更重要。：precision和recall的调和平均评估指标F1-score

（receiveroperatingcharacteristiccurve）性能度量（续）分类ROC曲线根据分类结果计算得到ROC空间中相应的点，连接这些点形成ROC曲线真正率(TPR)：预测为正的正样本数/正样本实际数假正率(FPR)：预测为正的负样本数/负样本实际数TPR=TP/(TP+FN)FPR=FP/(FP+TN)靠近左上角的ROC曲所代表的分类器准确性最高（areaundercurve）性能度量（续）分类AUCAUC=1：100%完美识别正负类，不管阈值怎么设定都能得出完美预测；0.5<AUC<1：优于随机猜测。这个分类器（模型）妥善设定阈值的话，可能有预测价值；AUC=0.5：跟随机猜测一样（例：随机丢N次硬币，正反面的概率为50%），模型无预测价值；AUC<0.5：比随机猜测还差，不存在AUC<0.5的情况：ROC曲线下的面积(ROC的积分)AUC=１AUC＝０.８AUC＝０.５（precisionrecallcurve）性能度量（续）分类PR：precision

对recall的曲线PR曲线与ROC曲线相同点：采用TPR

(Recall)，用AUC来衡量分类器效果；不同点：ROC曲线使用了FPR，PR曲线使用了precision在同一测试集，上面的曲线比下面的曲线好（绿线比红线好）；光滑曲线与不光滑曲线好：L1范数损失（L1-normloss）性能度量（续）（续）回归平均绝对误差（meanabsoluteerror，MAE）：L2范数损失（L2-normloss）平均平方误差（meansquarederror，MSE）均方根误差（RMSE）：

：L1范数损失（L1-normloss）性能度量（续）（续）回归平均绝对误差（meanabsoluteerror，MAE）：L2范数损失（L2-normloss）平均平方误差（meansquarederror，MSE）均方根误差（RMSE）：

：L1范数损失（L1-normloss）性能度量（续）（续）回归平均绝对误差（meanabsoluteerror，MAE）：L2范数损失（L2-normloss）平均平方误差（meansquarederror，MSE）均方根误差（RMSE）：

性能度量（续）（续）回归解释变异（explainedvariation)决定系数（coefficientofdetermination）

给定数据中的变异能被数学模型所解释的部分通常用方差来量化变异回归关系已经解释的y值变异在其总变异中所占的比率性能度量（续）聚类兰德指数（randindex)给定实际类别信息C，假设K是聚类结果，a表示在C与K中都是同类别的元素对数，b表示在C与K中都是不同类别的元素对数

RI取值范围为[0,1]调整兰德指数（adjustedrandindex)

ARI取值范围为[−1,1]性能度量（续）聚类互信息（mutualinformation,MI)假设U与V是对N个样本标签的分布情况，标准化后的互信息（

normalizedmutualinformation,NMI)调整互信息（adjuste