统计学习理论简介学习教案

1、会计学1统计学习理论统计学习理论(lln)简介简介第一页，共28页。第2页/共28页第二页，共28页。y G从F(x)中抽取(chu q)的x；S是研究对象； LM是所求的学习机。系统 (S)学习机f(x,w) (LM）输入x输出y预测输出产生器(G)输出y与x之间存在一种固定的、但形式未知的联合概率分布函数F(y,x)。学习机中有函数集f(x,w)，可估计输入与输出之间依赖关系，其中w为广义参数。第3页/共28页第三页，共28页。),(),(,()(yxdFwxfyLwR第4页/共28页第四页，共28页。2),(),(,(wxfywxfyL),(log),(wxpwxpL),(1),(0),

2、(,(wxfywxfywxfyL若若 要使期望(qwng)风险R(w)最小化，依赖概率分布F(x,y)。 但在机器学习中，只有样本信息，无法直接计算 期望(qwng)风险及其最小化。第5页/共28页第五页，共28页。niiiempwxfyLnwR1),(,(1)(),(),(,()(yxdFwxfyLwR期望风险：第6页/共28页第六页，共28页。第7页/共28页第七页，共28页。为实际可能的最小风险其中)(inf)()()|()()|(00*0*wRwRwRnwRwRnwRwnempn第8页/共28页第八页，共28页。第9页/共28页第九页，共28页。0, 0| )()(|suplim wR

3、wRPempwn第10页/共28页第十页，共28页。第11页/共28页第十一页，共28页。2ln)()()(nnGnHnHann)(ln)(nannZNEnH)(maxln)(nZZNnGn第12页/共28页第十二页，共28页。2ln) 1() 1(2ln)()(,1ln)(hhGhhGhnnGhhnhnhnG而时，当的转折点，即到从是第13页/共28页第十三页，共28页。dndninCdnDndi,2), 1(2),(0当nd+1第14页/共28页第十四页，共28页。VC维 hd+1=2+1=3指示(zhsh)函数为线性函数第15页/共28页第十五页，共28页。diiiwxwwxf10sgn

4、),(diiiwxwwxf10),(第16页/共28页第十六页，共28页。hnwRwRemp/)()(nhnhwRwRemp)4/ln() 1)/2(ln()()(4 推广性的界第17页/共28页第十七页，共28页。第18页/共28页第十八页，共28页。第19页/共28页第十九页，共28页。第20页/共28页第二十页，共28页。nhwRwRemp/)()(SSSSk21第21页/共28页第二十一页，共28页。第22页/共28页第二十二页，共28页。这就是使置信范围最小最小求函数面。因为它支撑了最优分类持向量，等号成立的样本称为支约束条件：分类面方程：)(21|21)(01)(0) 1, 1(, 1),(2wwwwbxwybxwyniyxiiii第23页/共28页第二十三页，共28页。1)()(训练样本数支持向量数EerrorPE第24页/共28页第二十四页，共28页。第25页/共28页第二十五页，共28页。第26页/共28页第二