计算机视觉-第08章2-神经网络和深度学习

人工智能视觉课程

神经网络和深度学习人工智能学院01引言02神经网络和深度学习简史03神经网络基本概念04深度学习基本概念05使用和训练神经网络过拟合2024/1/153假设要学习英语，而目前唯一的教学资源是一名青少年一开始，跟着这名青少年会有很好的学习效果但如果这名青少年是仅有的资源，我们会不可避免地学到他常用的俚语、说话方式和口音（过拟合）某种程度上，会阻碍我们和其他人用英语交谈（泛化能力）知识问答2024/1/154深度学习中，过拟合指的是？过拟合曲线2024/1/155蓝色曲线不断下降，最终收敛红色曲线在某个点之后逐渐上升代表出现了过拟合红色曲线是我们真正要关注的，即模型的泛化能力解决过拟合的思路2024/1/156拟合过程中通常都倾向于让权值尽可能小最后构造一个所有参数都比较小的模型因为一般认为参数值小的模型比较简单，能适应不同的数据集也在一定程度上避免了过拟合现象解决过拟合的思路2024/1/157拟合过程中通常都倾向于让权值尽可能小假设有一个线性回归方程如果参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是”抗扰动能力强“添加模型复杂度惩罚项2024/1/158我们希望尽可能降低模型的复杂度根据奥卡姆剃刀定律衡量模型复杂度有多种方式将模型复杂度作为模型中所有特征的权重的函数将模型复杂度作为具有非零权重的特征总数的函数......如果模型复杂度是权重的函数，则特征权重的绝对值越高，对模型复杂度的贡献就越大添加模型复杂度惩罚项2024/1/159将这种想法纳入训练时所进行的优化中训练专注于获取正确的样本最大程度减少经验风险（经验风险最小化）minimize:Loss(Data|Model)引入第二项因素即最小化损失，但同时平衡模型复杂度（结构风险最小化）minimize:Loss(Data|Model)+complexity(Model)添加模型复杂度惩罚项2024/1/1510训练优化算法是一个由两项内容组成的函数一个是损失项，用于衡量模型与数据的拟合度另一个是正则化项，用于衡量模型复杂度知识问答2024/1/1511以下关于正则化项，说法正确的是？先验概率和后验概率2024/1/1512先验概率指根据以往经验和分析得到的概率意思是说我们人有一个常识比如骰子我们都知道概率是1/6而且无数次重复实验也表明是这个数这是一种我们人的常识也是我们在不知道任何情况下必然会说出的一个值而所谓的先验概率是我们人在未知条件下对事件发生可能性猜测的数学表示先验概率和后验概率2024/1/1513后验概率事情已经发生，要求这件事情发生的原因是由某个因素引起的可能性的大小桌子上如果有一块肉和一瓶醋你如果吃了一块肉，然后你觉得是酸的那你觉得肉里加了醋的概率有多大?你说：80%可能性加了醋即你进行了一次后验概率的猜测条件概率2024/1/1514设A,B是两个事件，且P(B)>0则在事件B发生的条件下，事件A发生的条件概率为P(A|B)=P(AB)/P(B)P(AB)为事件AB的联合概率P(A|B)为条件概率，表示在B条件下A的概率P(B)为事件B的概率乘法公式P(AB)=P(A|B)P(B)=P(B|A)P(A)贝叶斯公式2024/1/1515建立在条件概率的基础上寻找事件发生的原因即大事件A已经发生的条件下，分割中的小事件Bi的概率设B1,B2,...是样本空间Ω的一个划分则对任一事件A（P(A)>0)，有Bi常被视为导致试验结果A发生的”原因“P(Bi)(i=1,2,...)表示各种原因发生的可能性大小，故称先验概率P(Bi|A)(i=1,2...)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率贝叶斯公式的一个例子2024/1/1516发报台分别以概率0.6和0.4发出信号“∪”和“—”由于通信系统受到干扰，当发出信号“∪”时，收报台分别以概率0.8和0.2收到信号“∪”和“—”又当发出信号“—”时，收报台分别以概率0.9和0.1收到信号“—”和“∪”求当收报台收到信号“∪”时，发报台确系发出“∪”的概率P(B1|A）=(0.6*0.8)/(0.6*0.8+0.4*0.1)=0.923从贝叶斯的角度理解正则化

2024/1/1517正则化等价于对模型参数引入先验分布使得模型复杂度变小（缩小解空间）对于噪声以及异常值的鲁棒性增强（泛化能力）整个最优化问题从贝叶斯观点来看是一种贝叶斯最大后验估计其中正则化项对应后验估计中的先验信息损失函数对应后验估计中的似然函数两者的乘积即对应贝叶斯最大后验估计的形式知识问答2024/1/1518从贝叶斯的角度来看，正则化相当于？庞大特征数量带来的困扰2024/1/1519稀疏矢量通常包含许多维度创建特征组合会导致包含更多维度使用此类高维度特征矢量，模型可能会非常庞大，并且需要大量的存储空间在高维度稀疏矢量中，最好尽可能使权重正好降至0正好为0的权重基本上会使相应特征从模型中移除将特征设为0可节省存储空间，且可以减少模型中的噪点稀疏矩阵与特征选择2024/1/1520稀疏矩阵指的是很多元素为0只有少数元素是非零值的矩阵即得到的线性回归模型的大部分系数都是0通常机器学习中特征数量很多例如文本处理时，如果将一个词组（term）作为一个特征，那么特征数量会达到上万个（bigram）稀疏矩阵与特征选择2024/1/1521在预测或分类时，特征过多显然难以选择如果代入这些特征得到的模型是一个稀疏模型表示只有少数特征对这个模型有贡献绝大部分特征是没有贡献的，或者贡献微小（因为它们前面的系数是0或者是很小的值，即使去掉对模型也没有什么影响）此时我们就可以只关注系数是非零值的特征这就是稀疏模型与特征选择的关系稀疏矩阵与特征选择2024/1/1522以一个涵盖全球地区的住房数据集为例按分（每度为60分）对全球纬度（90度*2）进行分桶则在一次稀疏编码过程中会产生大约1万个维度如果按分对全球经度（180度*2）进行分桶则在一次稀疏编码过程中会产生大约2万个维度这两种特征的特征组合会产生大约2亿个维度（1万*2万）稀疏矩阵与特征选择2024/1/1523这2亿个维度中的很多维度代表非常有限的居住区域例如海洋里很难使用这些数据进行有效泛化若为这些不需要的维度支付存储费用就太不明智了稀疏矩阵与特征选择2024/1/1524最好是使无意义维度的权重正好降至0这样我们就可以避免在推理时支付这些模型系数的存储费用一种方法是尝试创建一个正则化项课堂讨论2024/1/1525大家知道有哪些正则化方法吗？L0正则化2024/1/1526L0正则化的思想减少模型中的非零参数值的计数只有在模型能够与数据拟合时增加此计数才有意义L0正则化2024/1/1527L0范数向量中非0元素的个数L0范数越小0元素越多，也就越稀疏例如A=[-1,2,-3;4,-6,6]的L0范数就是：6如果我们用L0范数来正则化一个参数矩阵W的话，就是希望W的大部分元素都是0L0正则化2024/1/1528L0范数当p趋近于0的时候这个函数就只有在x=0的时候等于0其他的位置都为1L0范数可以用于表达一个向量/矩阵的稀疏性抢答（答错扣分）2024/1/1529NP问题是什么东西来着？NP问题2024/1/1530NP问题Non-DeterministicPolynomial问题非确定多项式问题指可以在多项式时间内被非确定机解决的问题有些问题很难找到多项式时间的算法或许根本不存在例如“找出无向图中哈密顿回路”问题NP问题2024/1/1531但如果给了该问题的一个答案可以在多项式时间内判断这个答案是否正确例如说对于哈密顿回路问题给一个任意的回路很容易判断它是否是哈密顿回路只要看是不是所有的顶点都在回路中就可以了NP问题2024/1/1532这里给出NP问题的另一个定义这种可以在多项式时间内验证一个解是否正确的问题称为NP问题亦称为验证问题类L0正则化2024/1/1533L0正则化是非凸优化问题即NP困难

假设矩阵size=500*2000(n=500,m=2000)如果我们知道稀疏解为20（也就是说有20个非零）要想知道这20个点3.9E+47（3.9*10^47）种可能每次测试需要1E-9(s),那么需要1.2E+31yearsL0正则化这种想法在实践中并不是一种有效的方法知识问答2024/1/1534L0正则化可以解决什么问题？L1正则化（Lasso正则化）2024/1/1535模型复杂度=权重的绝对值之和模型的确会关注训练数据，但会尽量确保最后的权重不会超过所需的大小即损失项，取决于训练数据，旨在减少训练误差即lambda（正则化率），控制如何平衡权重的标量值，代表对获取正确样本和简化模型的关注程度之比平衡复杂度权重的绝对值之和L1范式稀疏性的通俗解释2024/1/1536假设想要找到与二维空间中的一组点相匹配的线至少2个点才能确定一条线但是如果训练数据只有一点呢？那么将有无限的解决方案通过这一点的每条线都是一个解决方案假设该点在(10,5)，并且一条线被定义为函数y=a*x+b将(10,5)带入方程，即：L1范式稀疏性的通俗解释2024/1/1537b=5-10*a直线b=5-10*a上的所有点都是一个解决方案L1范式稀疏性的通俗解释2024/1/1538在二维空间，对于一个向量(w1,w2)，其L1范式为|w1|+|w2|对于一个给定的L1范式的值，其函数图形如下只有在尖点，点是稀疏的也就是说，一个点的w1或w2分量是零L1范式稀疏性的通俗解释2024/1/1539L1范式取不同的值，相当于放大或缩小这个菱形L1范式稀疏性的通俗解释2024/1/1540假设蓝色直线为b=5-10*a触点(0.5,0)是一个稀疏矢量通过在所有可能的解决方案(蓝线上的点)中找到具有最小L1范式(0.5)的解点即这个点首先应该在蓝色直线上，其次这个点对应的L1范式的值应该最小我们找到了一个针对我们的问题的稀疏解(0.5,0)在接触点上，常数c是所有可能解决方案中可以找到的最小L1范式基于等高线表示的梯度下降法2024/1/1541对于只有两维属性的样本，J(θ)即J(θ0,θ1)的等高线图L1正则化在二维空间的图像2024/1/1542L1正则化可以产生稀疏模型L1让系数等于零两个图是一个意思图中菱形图案表示L1正则化项椭圆环表示损失函数L1正则化在二维空间的图像2024/1/1543同一条线上（或同一个环上），表示对应的函数值相同不同图案的中心分别表示L1正则化项以及损失函数分别的最小值位置L1正则化在二维空间的图像2024/1/1544右边表示损失函数加上对应的正则化项之后的图像添加正则化项之后，会影响原来的代价函数的最小值的位置，以及梯度下降时的路线（右边白色路线）最终停留在了θ2(w2)=0这条线上L1正则化在二维空间的图像2024/1/1545如果参数调整合适的话，最小值应该在距离原来损失函数最小值附近且与正则化项的图像相交因为此时这两项在相互约束的情况下都取到最小值它们的和也最小L1正则化在二维空间的图像2024/1/1546当正则化项的权重非常大的时候，会产生左侧黄色点标识的路线最终所有参数都为0但是趋近原点的方式不同这是因为对于范式来说，原点是它们的最小值点知识问答2024/1/1547L1正则化中模型复杂度等于？L2正则化（Ridge正则化、岭正则化）2024/1/1548模型复杂度=权重的平方和（也有版本是求完平方和再求平方根）模型的确会关注训练数据，但会尽量确保最后的权重不会超过所需的大小即损失项，取决于训练数据，旨在减少训练误差即lambda（正则化率），控制如何平衡权重的标量值，代表对获取正确样本和简化模型的关注程度之比平衡复杂度权重的平方和L2正则化2024/1/1549L2正则化公式将正则化项定义为所有特征权重的平方和接近于0的权重对模型复杂度几乎没有影响而离群值权重则可能会产生巨大的影响L2正则化实例2024/1/1550某个线性模型具有以下权重L2正则化项为w3的平方值为25，几乎贡献了全部的复杂度所有5个其他权重的平方和对L2正则化项的贡献仅为1.915L2正则化在二维空间的图像2024/1/1551两个图是一个意思图中圆形图案表示L2正则化项椭圆环表示损失函数同一条线上（或同一个环上），表示对应的函数值相同不同图案的中心分别表示L2正则化项以及损失函数分别的最小值位置L2正则化在二维空间的图像2024/1/1552L2正则化项的函数图形是一个圆没有棱角（L1正则化项有棱角）两个图形的交点使得θ1(w1)或θ2(w2)等于0的几率小了很多即L2正则化不具备稀疏性L2正则化在二维空间的图像2024/1/1553右边表示损失函数加上对应的正则化项之后的图像添加正则化项之后，会影响原来的代价函数的最小值的位置，以及梯度下降时的路线（右边白色路线）L2正则化在二维空间的图像2024/1/1554如果参数调整合适的话，最小值应该在距离原来损失函数最小值附近且与正则化项的图像相交此时这两项在相互约束的情况下都取到最小值它们的和也最小L2范式稀疏性的通俗解释2024/1/1555当正则化项的权重非常大的时候，会产生左侧黄色点标识的路线最终所有参数都为0但是趋近原点的方式不同这是因为对于范式来说，原点是它们的最小值点L2正则化-权重分布2024/1/1556执行L2正则化对模型具有以下影响使权重值接近于0（但并非正好为0）使权重的平均值接近于0，且呈正态（钟形曲线或高斯曲线）分布增加lambda值将增强正则化效果降低lambda的值往往会得出比较平缓的直方图L1正则化和L2正则化的比较2024/1/1557L1正则化可以产生稀疏权值矩阵即产生一个稀疏模型，可以用于特征选择L2正则化可以防止模型过拟合（overfitting）一定程度上，L1也可以防止过拟合神经网络基本概念–合理的特征2024/1/1558特征具有合理的范围大致以0为中心，[-1,1]的范围通常效果比较好也可以是负5到正5，或者0到1，只要所有输入的范围大致相同就可以有助于梯度下降法收敛避免NaN陷阱对避免离群值也会有帮助丢弃正则化2024/1/1559丢弃：另一种正则化形式，对神经网络很有用在一个梯度步长中随机“丢弃”网络的节点Dropout某些检测器依赖其他检测器才能发挥作用减少特征检测器（隐层节点）间的相互作用丢弃正则化2024/1/1560丢弃得越多，正则化效果就越强0.0=无丢弃正则化1.0=丢弃所有内容（学不到任何规律）中间值更有用（0.25、0.5......）知识问答2024/1/1561以下关于正则化的说法中不正确的是？结束了吗?2024/1/1562抢答（答错扣分）2024/1/1563谁上来给大家讲讲伊索寓言中，狼来了的故事？伊索寓言：狼来了2024/1/1564有一位牧童要照看镇上的羊群但是他开始厌烦这份工作为了找点乐子他大喊道：“狼来了！”其实根本一头狼也没有出现村民们迅速跑来保护羊群但他们发现这个牧童是在开玩笑后非常生气这样的情形重复出现了很多次伊索寓言：狼来了2024/1/1565一天晚上牧童看到真的有一头狼靠近羊群他大声喊道：“狼来了！”村民们不想再被他捉弄都待在家里不出来这头饥饿的狼对羊群大开杀戒，美美饱餐了一顿整个镇子都揭不开锅了恐慌也随之而来课堂讨论2024/1/1566这则寓言告诉了我们什么？真与假以及正类别与负类别实例2024/1/1567我们做出以下定义“狼来了”是正类别“没有狼”是负类别可以使用一个2*2混淆矩阵来总结我们的“狼预测”模型该矩阵描述了所有可能出现的结果（共四种）真与假以及正类别与负类别实例2024/1/1568真正例TruePositive，TP模型将正类别样本正确地预测为正类别真负例TrueNegative，TN模型将负类别样本正确地预测为负类别真与假以及正类别与负类别实例2024/1/1569假正例FalsePositive，FP模型将负类别样本错误地预测为正类别假负例FalseNegative，FN模型将正类别样本错误地预测为负类别准确率2024/1/1570准确率：正确的预测所占的比例正确预测结果数除以预测总数准确率2024/1/1571对于二元分类，也可以根据正类别和负类别按如下方式计算准确率TP=真正例TN=真负例FP=假正例FN=假负例准确率实例2024/1/1572计算以下模型的准确率目标：检测恶性肿瘤该模型将100个肿瘤分为恶性（正类别）或良性（负类别）知识问答2024/1/1573上例中，准确率是多少？准确率实例2024/1/1574计算以下模型的准确率准确率2024/1/1575不适用场景不同类型的错误具有不同的代价时分类不平衡比如正类别标签和负类别标签的数量之间存在明显差异准确率2024/1/1576不适用场景假设有一个用于预测展示广告的广告点击率的模型假设使用准确率指标来评估此模型的质量对于展示广告，点击率通常为千分之一、万分之一，甚至更低准确率不适用的场景2024/1/1577假设存在这样一个模型这个模型只有一个始终预测“假”的偏差特征假设展示了10000次广告，只点击1次只要10000次都预测为假，则准确率为99.99%但是这样的预测没有意义准确率不适用的场景2024/1/1578上一个肿瘤预测的例子中准确率为0.91，即91%（总共100个样本中有91个预测正确）在91个良性肿瘤中，该模型将90个正确识别为良性在9个恶性肿瘤中，该模型仅将1个正确识别为恶性9个恶性肿瘤中有8个未被诊断出来准确率不适用的场景2024/1/157991%的准确率可能乍一看还不错如果另一个肿瘤分类器模型总是预测良性那么这个模型使用我们的样本进行预测也会实现相同的准确率100个中有91个预测正确我们的模型与那些没有预测能力来区分恶性肿瘤和良性肿瘤的模型差不多精确率2024/1/1580精确率=（真正例次数）/（所有正类别预测次数）在被识别为正类别的样本中，确实为正类别的比例是多少也就是，在小男孩说“狼来了”的情况中，有多少次是对的精确率实例2024/1/1581上一部分中用于分析肿瘤的机器学习模型的精确率该模型的精确率为0.5该模型在预测恶性肿瘤方面的正确率是50%召回率2024/1/1582召回率：（真正例次数）/（所有实际正类别数）也叫查全率在所有正类别样本中，被正确识别为正类别的比例是多少是否漏掉了任何“狼来了”的情况召回率实例2024/1/1583上一部分中用于分析肿瘤的机器学习模型的召回率该模型的召回率是0.11该模型能够正确识别出所有恶性肿瘤的百分比是11%知识问答2024/1/1584设TP=真正例，TN=真负例，FP=假正例，FN=假负例精确率的计算公式是？精确率和召回率2024/1/1585精确率和召回率此消彼长提高精确率通常会降低召回率值反之亦然精确率和召回率2024/1/1586如果希望在召回率方面做得更好即使只听到灌木丛中传出的一点点声响，也要早些指出“狼来了”这种做法会降低分类阈值如果我们希望非常精确正确的做法是只在我们完全确定时才说“狼来了”这样会提高分类阈值精确率和召回率2024/1/1587精确率和召回率此消彼长每当有人说精确率值是多少时还需要问召回率值是多少然后才能评价模型的优劣我们选择特定的分类阈值后，精确率和召回率值便都可以确定精确率和召回率实例2024/1/1588下图为电子邮件分类模型做出的30项预测分类阈值右侧的被归类为“垃圾邮件”左侧的则被归类为“非垃圾邮件”抢答（答错扣分）2024/1/1589上例中，精确率和召回率分别等于多少？精确率和召回率实例2024/1/1590计算精确率和召回率精确率：被模型标记为垃圾邮件的电子邮件中确实是垃圾邮件所占的百分比召回率：实际垃圾邮件中被模型标记为垃圾邮件的电子邮件所占的百分比精确率和召回率实例2024/1/1591提高阈值精确率和召回率实例2024/1/1592假正例数量会减少但假负例数量会相应地增加精确率有所提高召回率有所降低精确率和召回率实例2024/1/1593降低阈值精确率和召回率实例2024/1/1594假正例数量会增加而假负例数量会减少精确率有所降低召回率有所提高精确率和召回率2024/1/1595如果某个模型的精确率和召回率均优于另一模型一般来说该模型可能更好我们需要确保在精确率/召回率点处进行比较，因为这样做才有实际意义例如，假设我们的垃圾邮件检测模型需要达到至少90%的精确率才算有用将{20%精确率，99%召回率}模型与{15%精确率，98%召回率}模型进行比较没有太大意义因为这两个模型都不符合90%的精确率要求ROC曲线2024/1/1596ROC曲线ReceiverOperatingCharacteristic即接收者操作特征曲线是一种显示分类模型在所有分类阈值下的效果的图表ROC曲线2024/1/1597真正例率TPR代表模型可以找到的正样本概率也就是召回率，代表收益分母是总的正样本数目ROC曲线2024/1/1598假正例率FPR表示找到的错误的正样本的概率表示模型的损失分母是总的负样本数目ROC曲线2024/1/1599我们对每个可能的分类阈值进行评估观察相应阈值下的两个参数真正例率（TPR）假正例率（FPR）绘制一条曲线将这些点连接起来ROC曲线2024/1/15100ROC曲线用于绘制采用不同分类阈值时的TPR与FPR降低分类阈值会导致将更多样本归为正类别从而增加假正例和真正例的个数ROC上的任意一点表示模型在获得收益的同时，需要付出的代价ROC曲线的意义2024/1/15101ROC曲线能很容易的查出任意阈值对模型的泛化性能影响有助于选择最佳的阈值ROC曲线越靠近左上角，模型的召回率就越高最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少ROC曲线的意义2024/1/15102ROC曲线可以对不同的模型比较性能将各个学习器的ROC曲线绘制到同一坐标中直观地鉴别优劣靠近左上角的ROC曲所代表的模型准确性最高知识问答2024/1/15103ROC曲线可以用来做什么？ROC曲线的问题2024/1/15104如果两条ROC曲线没有相交哪条曲线最靠近左上角，哪条曲线代表的模型性能就最好实际任务中，情况很复杂如果两条ROC曲线发生了交叉则很难一般性地断言谁优谁劣ROC曲线下面积（AUC）2024/1/15105ROC曲线相交模型的优劣判断AUC面积AreaUnderROCCurve曲线下面积ROC曲线下面积这个面积的数值不会大于1ROC曲线下面积（AUC）2024/1/15106对于随机选择的正类别样本确实为正类别，以及随机选择的负类别样本为正类别，分类器更确信前者的概率另一种解读方式：看作模型将某个随机正类别样本排列在某个随机负类别样本之上的概率另一种解读方式：从所有正样本中随机选择一个样本，从所有负样本中随机选择一个样本，然后根据你的分类器对两个随机样本进行预测，把正样本预测为正例的概率p1，把负样本预测为正例的概率p2，p1>p2的概率就等于AUCROC曲线下面积（AUC）2024/1/15107计算AUC的公式为x和y分别对应FPR和TPR，也是ROC曲线的横纵坐标t=−∞对应ROC图像最右上角的点t=∞对应ROC图像最左下角的点积分项里面是一个事件的概率：随机取一对正负样本，负样本得分为t且正样本大于t对其积分就可以得到正样本得分大于负样本的概率ROC曲线下面积（AUC）2024/1/15108曲线下面积测量从(0,0)到(1,1)之间整个ROC曲线以下的整个二维面积（参考积分学）AUC越大表示模型区分正例和负例的能力越强，即模型越好AUC等于0.5时，检测方法的真实性最低，无应用价值ROC曲线下面积（AUC）2024/1/15109AUC=1，完美分类器AUC=[0.85,0.95]，效果很好AUC=[0.7,0.85]，效果一般AUC=[0.5,0.7]，效果不太好，但用于预测股票已经很不错了AUC=0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值AUC<0.5，比随机猜测还差但只要总是反预测而行，就优于随机猜测ROC曲线下面积（AUC）实例2024/1/15110以下面的样本为例曲线下面积表示随机正类别（绿色）样本位于随机负类别（红色）样本右侧的概率曲线下面积的取值范围为0-1预测结果100%错误的模型的曲线下面积为0.0而预测结果100%正确的模型的曲线下面积为1.0ROC曲线下面积（AUC）的优势2024/1/15111曲线下面积的尺度不变它测量预测的排名情况，而不是测量其绝对值广告等需要绝对的点击率场景下，AUC并不适合作为评估指标，而是用logloss等指标曲线下面积的分类阈值不变它测量模型预测的质量而不考虑所选的分类阈值ROC曲线下面积（AUC）的问题2024/1/15112并非总是希望尺度不变有时需要被良好校准的概率输出而曲线下面积无法告诉我们这一结果并非总是希望分类阈值不变在假负例与假正例的代价存在较大差异时，尽量减少一种类型的分类错误可能至关重要例如在进行垃圾邮件检测时，可能希望优先考虑尽量减少假正例（即使这会导致假负例大幅增加）对于此类优化，曲线下面积并非一个实用的指标知识问答2024/1/15113将给定模型的所有预测结果都乘以2.0例如，如果模型预测的结果为0.4，我们将其乘以2.0得到0.8会使按AUC衡量的模型效果产生何种变化？ROC曲线下面积（AUC）2024/1/15114没有变化AUC以相对预测为依据保持相对排名的任何预测变化都不会对AUC产生影响而对其他指标而言显然并非如此，例如平方误差、对数损失函数或预测偏差ROC曲线下面积（AUC）2024/1/15115AUC要达到多少才表示模型拟合的比较好？在实际建模中发现，预测点击的模型比预测下单的模型AUC要低很多在月活用户里面预测下单和日活用户里面预测下单的AUC差异也很明显预测用户未来1小时下单和预测未来1天的下单模型AUC差异也很大AUC非常依赖于具体任务ROC曲线下面积（AUC）2024/1/15116以预测点击和预测下单为