统计学习理论本质ppt课件

1、第七章 统计学习实际的本质7.1 统计学习的本质统计学习的本质n系统S为研讨对象，经过一系列的观测样本来求得学习机LM，使得LM的输出 可以尽量准确的预测S的输出y。n (x1,y1)，(x2,y2)，(xn,yn) y风险风险n学习机LM的输出 与输入x之间可以看作是一个函数关系：n普通需求将函数 限定在特定的一组函数 中求取。n定义风险：n均方误差：n似然函数： y yf x f x,f x w,L y fx w2,L y f x wyf x w,ln,L p x wp x w 期望风险期望风险ny与x之间存在一定的依赖关系，可以用一个未知的结合概率F(x,y)描画。n期望风险定义为：n统

2、计学习的目的就是要寻觅到一个最优的函数f(x,w*)，使得R(w*)最小。 ,R wL y f x wdF x y阅历风险阅历风险n期望风险普通来说无法计算，在工程上转而计算阅历风险：n求取最优参数w*，使得阅历风险Remp(w*)最小。n当学习过程具有一致性时，统计学有如下关系： 11,nempiiiRwL yf x wn limempnRwR w期望风险与阅历风险的关系期望风险与阅历风险的关系 empRwR w7.2 函数集的函数集的VC维与推行性的界维与推行性的界n统计学习的推行才干不仅同训练样本数n有关系，而且同窗习机的函数集选择有关系，“简单的的函数集合推行才干强，“复杂的函数集合推

3、行才干差。n当函数集过于“复杂时，很容易产生“过学习景象：对于训练样本风险很小，而对非训练样本风险却很大。过学习过学习VC维维n打散：假设存在一个有h个样本的样本集可以被一个函数集中的函数按照一切能够的2h种方式分为两类，那么称函数集可以将样本数为h的样本集打散；nVC维：假设函数集可以打散h个样本的样本集，而不能打散h+1个样本的样本集，那么称函数集的VC维为h。nd维空间中线性函数的VC维：h = d+1；n正弦函数集合sin(wx)的VC维：h = 。推行性的界推行性的界n函数集合的VC维描画了函数的复杂程度，利用VC维可以确定推行性的界，以下不等式右半部分至少以概率1-成立：n其中h为

4、函数集合的VC维，n为训练样本数。n当n/h较小时，置信范围较大；n/h较大时，置信范围较小： ln 21ln4empemphn hRwR wRwn empempnRwR wRwh7.3 提高推行才干的方法提高推行才干的方法n提高推行才干的本质方法是由原来只优化阅历风险 变为优化期望风险的上界 ： empRwn h empRw过学习欠学习构造风险最小化原那么构造风险最小化原那么SRM，Structural Risk Minimizationn首先把函数集 分解为一个函数子集序列：n 各个子集按照VC维的大小排序：n在子集序列中寻觅阅历风险与置信范围之和最小的子集，这个子集中使阅历风险最小的函数

5、就是所求的最优函数。,Sfx ww12kSSSS12khhhSRM在线性分类器上的运用在线性分类器上的运用SVMnd维空间中的线性函数的VC维为d+1，但当限制判别界面的分类间隔时，其VC有能够更小。n定理：在d维空间中，设一切n个样本都在一个超球范围之内，超球的半径为R，那么-间隔分类超平面集合的VC维h满足如下不等式：n而间隔 ，因此根据SRM的原那么，只需在保证阅历风险为0的条件下超平面可以正确分类全部训练样本，最小化权值矢量的长度 。22min,1Rhn1 ww验证技术验证技术Validationn当无法计算函数集的VC维时，可以采用验证技术。将样本集分为训练集和验证集，用训练集的样本训练网络，用验证集的样本测试网络，寻觅一个验证集风险最小的模型和参数。权值衰减权值衰减n实验阐明，