正则化代价函数

在这段视频中传达给你一个直观的感受告诉你正规化是如何进行的而且我们还要写出我们使用正规化时需要使用的代价函数根据我们幻灯片上的这些例子我想我可以给你一个直观的感受但是一个更好的让你自己去理解正规化如何工作的方法是你自己亲自去实现它并且看看它是如何工作的如果在这节课后你进行一些适当的练习你就有机会亲自体验一下正规化到底是怎么工作的那么这里就是一些直观解释伽4-M+一T=1 伽4-M+一T=1 一—~Supposewepenalizeandmiike^3,04reallysmall.j77^T唧】M»（加-舟尸七Eg日；在前面的视频中我们看到了如果说我们要用一个二次函数来拟合这些数据它给了我们一个对数据很好的拟合然而如果我们用一个更高次的多项式去拟合我们最终可能得到一个曲线能非常好地拟合训练集但是这真的不是一个好的结果它过度拟合了数据因此一般性并不是很好让我们考虑下面的假设我们想要加上惩罚项从而使参数。3和。4足够的小这里我的意思就是这是我们的优化目标或者客观的说使参数。3和。4足够的小这就是我们需要优化的问题我们需要尽量减少代价函数的均方误差对于这个函数我们对它进行添加一些项加上1000乘以。3的平方再加上1000乘以。4的平方1000只是我随便写的某个较大的数字而已现在如果我们要最小化这个函数为了使这个新的代价函数最小化我们要让。3和。4尽可能小对吧？因为如果你有1000乘以。3这个新的代价函数将会是很大的所以当我们最小化这个新的函数时

我们将使。3的值接近于004的值也接近于0就像我们忽略了这两个值一样如果我们做到这一点如果03和04接近0那么我们将得到一个近似的二次函数所以我们最终恰当地拟合了数据你知道二次函数加上一些项这些很小的项贡献很小因为0304它们是非常接近于0的所以我们最终得到了实际上很好的一个二次函数因为这是一个更好的假设在这个具体的例子中我们看到了惩罚这两个大的参数值的效果Regul-ariz-ation.更一般地这里给出了正规化背后的思路Smallvaluesforparameterspo,们.一一，。折更一般地这里给出了正规化背后的思路—frSiirpler；Thypothesis＜一1—Lesspronetooveirfitting—Housing:—Features: ....^ioo—Paramet&rs：这种思路就是如果我们的参数值对应一个较小值的话就是说参数值比较小那么往往我们会得到一个形式更简单的假设所以我们最后一个例子中我们惩罚的只是03和04使这两个值均接近于零我们得到了一个更简单的假设也即这个假设大抵上是一个二次函数但更一般地说如果我们就像这样惩罚的其它参数通常我们可以把它们都想成是得到一个更简单的假设因为你知道当这些参数越接近这个例子时假设的结果越接近一个二次函数但更一般地可以表明这些参数的值越小通常对应于越光滑的函数也就是更加简单的函数因此就不易发生过拟合的问题我知道为什么要所有的部分参数变小的这些原因为什么越小的参数对应于一个简单的假设我知道这些原因对你来说现在不一定完全理解但现在解释起来确实比较困难除非你自己实现一下自己亲自运行了这部分但是我希望这个例子中使。3和。4很小并且这样做能给我们一个更加简单的假设我希望这个例子有助于解释原因至少给了我们一些直观感受为什么这应该是这样的来让我们看看具体的例子对于房屋价格预测我们可能有上百种特征我们谈到了一些可能的特征比如说x1是房屋的尺寸x2是卧室的数目x3是房屋的层数等等那么我们可能就有一百个特征跟前面的多项式例子不同我们是不知道的我们不知道。304是高阶多项式的项所以如果我们有一个袋子如果我们有一百个特征在这个袋子里我们是很难提前选出那些关联度更小的特征的也就是说如果我们有一百或一百零一个参数我们不知道挑选哪一个我们并不知道如何选择参数如何缩小参数的数目因此在正规化里我们要做的事情就是把我们的代价函数这里就是线性回归的代价函数接下来我度量来修改这个代价函数从而缩小我所有的参数值因为你知道我不知道是哪个哪一个或两个要去缩小所以我就修改我的代价函数在这后面添加一项就像我们在方括号里的这项当我添加一个额外的正则化项的时候我们收缩了每个参数并且因此我们会使我们所有的参数010203直到0100的值变小顺便说一下按照惯例来讲我们从第一个这里开始所以我实际上没有去惩罚00因此00的值是大的这就是一个约定从1到n的求和而不是从0到n的求和但其实在实践中这只会有非常小的差异无论你是否包括这项就是00这项实际上结果只有非常小的差异但是按照惯例通常情况下我们还是只从01至吟100进行正规化10Regulariz-ation.Sl2eofhousencnfJ例10Regulariz-ation.Sl2eofhousencnfJ例=志rri. 时£0亦㈤)-照尸+2E膂^=1. k”•这里我们写下来我们的正规化优化目标我们的正规化后的代价函数就是这样的j（。）这个项右边的这项就是一个正则化项并且入在这里我们称做正规化参数入要做的就是控制在两个不同的目标中的一个平衡关系第一个目标第一个需要抓住的目标就是我们想要训练使假设更好地拟合训练数据我们希望假设能够很好的适应训练集而第二个目标是我们想要保持参数值较小这就是第二项的目标通过正则化目标函数这就为这个正则化参数需要控制的它会这两者之间的平衡目标就是平衡拟合训练的目的和保持参数值较小的目的从而来保持假设的形式相对简单来避免过度的拟合对于我们的房屋价格预测来说这个例子尽管我们之前有我们已经用非常高的高阶多项式来拟合我们将会得到一个非常弯曲和复杂的曲线函数就像这个如果你还是用高阶多项式拟合就是用这里所有的多项式特征来拟合的话但现在我们不这样了你只需要确保使用了正规化目标的方法那么你就可以得到实际上是一个曲线但这个曲线不是一个真正的二次函数而是更加的流畅和简单也许就像这条紫红色的曲线一样那么你知道的这样就得到了对于这个数据更好的假设再一次说明下我了解这部分有点难以明白为什么加上参数的影响可以具有这种效果但如果你亲自实现了正规化你将能够看到这种影响的最直观的感受11-12

Inreeulansedlinearregrewian?wechoose状tominimiserti- 检川）=土£（顽」罚）一舟叩+曹£=1 j=lWhaiifAis.settoanextremelylargevalue（perhapsfortoolargeforouirproblem』sayA=l（Jl°J?Algorithmworksfine;settingAtobeverylarge匚己n'thurtitAlgortihmfailstoeliminate£iverfitting.Algorithmresultsinunderfitting.（Failstofiteventrainingdatawell）.GradientdecentwiHfai^toconverge.M^drwvhlInregularizedlinearregression；wechoose tominimise皿）=矗君膈（把）一城乎+土■1WhatifAissetloanextremelylargevalue（perhapsfortoolarge&i%为j也&i%为j也t?旧;I%。t株。W>dRrA-h|在正规化线性回归中如果正规化参数值被设定为非常大那么将会发生什么呢？我们将会非常大地惩罚参数。ie2e3e4也就是说如果我们的假设是底下的这个如果我们最终惩罚eie2e3e4在一个非常大的程度那么我们会使所有这些参数接近于零的对不对？ei将接近零e2将接近零e3和e4最终也会接近于零如果我们这么做那么就是我们的假设中相当于去掉了这些项并且使我们只是留下了一个简单的假设这个假设只能表明那就是房屋价格就等于e0的值那就是类似于拟合了一条水平直线对于数据来说这就是一个欠拟合(underfitting)这种情况下这一假设它是条失败的直线对于训练集来说这只是一条平滑直线它没有任何趋势它不会去趋向大部分训练样本的任何值这句话的另一种方式来表达就是这种假设有过于强烈的"偏见"或者过高的偏差(bais)认为预测的价格只是等于。0并且尽管我们的数据集选择去拟合一条扁平的直线仅仅是一条扁