统计学习理论与学习教案

1、会计学1统计学习统计学习(xux)理论与理论与第一页，共68页。8.1 概述概述(i sh)第2页/共68页第二页，共68页。的数学的数学(shxu)基础基础概率论与数理统计(sh l tn j)泛函分析“For God so loved the world that he gave his one and only Son, that whoever believes in him shall not perish but have eternal life. For God did not send his Son into the world to condemn the world,

2、but to save the world through him.” from JOHN 3:16-17 NIV 第3页/共68页第三页，共68页。 SLT&SVM所坚持的“基本(jbn)信念”传统的估计高维函数依赖关系的方法所坚持的信传统的估计高维函数依赖关系的方法所坚持的信念念 实际问题中总存在较少数目的一些实际问题中总存在较少数目的一些“强特征强特征”，用它们的简单用它们的简单(jindn)函数（如线性组合）就能函数（如线性组合）就能较好地逼近未知函数。因此，需要仔细地选择一较好地逼近未知函数。因此，需要仔细地选择一个低维的特征空间，在这个空间中用常规的统计个低维的特征空间，在

3、这个空间中用常规的统计技术来求解一个逼近。技术来求解一个逼近。SLT&SVM所坚持的信念所坚持的信念 实际问题中存在较大数目的一些实际问题中存在较大数目的一些“弱特征弱特征”，它，它们们“巧妙的巧妙的”线性组合可较好地逼近未知的依赖线性组合可较好地逼近未知的依赖关系。因此，采用什么样的关系。因此，采用什么样的“弱特征弱特征”并不十分并不十分重要，而形成重要，而形成“巧妙的巧妙的”线性组合更为重要。线性组合更为重要。第4页/共68页第四页，共68页。与传统(chuntng)方法的区别要较好地实现传统方法(fngf)，需要人工选择（构造）一些数目相对较少的“巧妙的特征”SVM方法(fngf

4、)则是自动地选择（构造）一些数目较少的“巧妙的特征”在实际应用中，可通过构造两层（或多层）SVM来选择“巧妙的特征”第5页/共68页第五页，共68页。SLT & SVM集以下(yxi)模型于一身：结构风险最小化（SRM）模型(mxng)数据压缩模型(mxng)构造复合特征的一个通用模型(mxng) 在希尔伯特空间中的内积回旋可以 看作是构造特征的一种标准途径。对实际数据的一种模型(mxng) 一个小的支持向量集合可能足以对不同的机器代表整个训练集。第6页/共68页第六页，共68页。本本”是相对于无穷样本而言的，是相对于无穷样本而言的，故只要样本数不是无穷，都可故只要样本数不是无穷，都可

5、称为小样本，更严格地说，应称为小样本，更严格地说，应该称为该称为“有限样本有限样本”。第7页/共68页第七页，共68页。现象进行描述、辨认、分类和现象进行描述、辨认、分类和解释的过程。解释的过程。n统计学习理论统计学习理论n一种研究一种研究(ynji)(ynji)有限样本有限样本估计和预测的数学理论估计和预测的数学理论第8页/共68页第八页，共68页。第9页/共68页第九页，共68页。SLTSLT的发展的发展(fzhn)(fzhn)简况简况( (续续) )Vapnik和Chervonenkis(1974)提出了结构风险最小化（SRM）归纳原则。Vapnik和Chervonenkis(1989)

6、发现了经验风险最小化归纳原则和最大似然方法一致性的充分必要条件,完成了对经验风险最小化归纳推理的分析。90年代中期,有限样本情况(qngkung)下的机器学习理论研究逐渐成熟起来,形成了较完善的理论体系统计学习理论(Statistical Learning Theory,简称SLT)第10页/共68页第十页，共68页。第11页/共68页第十一页，共68页。GLMSX Xyy第12页/共68页第十二页，共68页。第13页/共68页第十三页，共68页。1122( ,),(,),(,)nnx yxyxy ( , )f x0 ( , )f x( , )P x y( )( , ( , )( , )RL

7、y f xdP x y第14页/共68页第十四页，共68页。更为一般的问题作为其中间步骤。第15页/共68页第十五页，共68页。上述原则意味着，当解决模式识别或回归估计问题时，必须设法去“直接”寻找(xnzho)待求的函数，而不是首先估计密度，然后用估计的密度来构造待求的函数。密度估计是统计学中的一个全能问题，即知道了密度就可以解决各种问题。一般地，估计密度是一个不适定问题(ill-posed problem)，需要大量观测才能较好地解决。实际上，需要解决的问题（如决策规则估计或回归估计）是很特殊的，通常只需要有某一合理数量的观测就可以解决。第16页/共68页第十六页，共68页。11( )(,

8、( ,)nempiiiRwL yf x wn( )empRw()R w第17页/共68页第十七页，共68页。第18页/共68页第十八页，共68页。第19页/共68页第十九页，共68页。第20页/共68页第二十页，共68页。第21页/共68页第二十一页，共68页。n传统的解决办法（例如：采用正则化、模型选择、噪声干扰等方法以控制学习机器的复杂度）缺乏坚实的理论基础。第22页/共68页第二十二页，共68页。第23页/共68页第二十三页，共68页。第24页/共68页第二十四页，共68页。第25页/共68页第二十五页，共68页。n第26页/共68页第二十六页，共68页。第27页/共68页第二十七页，共

9、68页。( )()(VC)lim0( )lim0( )lim0 xannxxH nnHnnG nn收敛的充分 必要 条件熵快收敛速度的充分条件 与概率测度无关的快收敛充要条件第28页/共68页第二十八页，共68页。( )empRw()R w1(ln(2 / ) 1) ln( /4)( )( )emphn hRRn 第29页/共68页第二十九页，共68页。(ln(2 / ) 1) ln( /4)( )( )emphn hRRn ( )( )()empnRRh 1第30页/共68页第三十页，共68页。第31页/共68页第三十一页，共68页。第32页/共68页第三十二页，共68页。第33页/共68页

10、第三十三页，共68页。(fnwi),则这个子集中使经验风险最小的函数就是最优函数。支持向量机方法实际上就是这种思路的实现。第34页/共68页第三十四页，共68页。第35页/共68页第三十五页，共68页。第36页/共68页第三十六页，共68页。第37页/共68页第三十七页，共68页。第38页/共68页第三十八页，共68页。第39页/共68页第三十九页，共68页。() 1,1,.,iiyw xbilRbRwbxwN, 0).(11( ,),.,( ,), 1, 1nllx yx yxR y 2w2w第40页/共68页第四十页，共68页。211( )()22() 1,1,.,iiwww wyw xb

11、illiiiibwxywbwL1221) 1)(),(第41页/共68页第四十一页，共68页。liiiibwxywbwL1221) 1)(),(0),(0),(bwLwbwLbiiliiiliixywya110liiiiliiiililjijijijiibxxyxfyandlixxyyW1111,21)(sgn()(0,.,1, 0)()(第42页/共68页第四十二页，共68页。4x3x2x1x2221234223341( ) ()(444)2Qx1 =(0, 0), y1 = +1x2 =(1, 0), y2 = +1x3 =(2, 0), y3 = -1x4 =(0, 2), y4 = -

12、1可调用Matlab中的二次规划(guhu)程序，求得1, 2, 3, 4的值，进而求得w和b的值。 第43页/共68页第四十三页，共68页。123412013 / 41 / 41120312002144231113,02224()3220wbgxxx 第44页/共68页第四十四页，共68页。第45页/共68页第四十五页，共68页。,Mercer条件,就可以作为内积使用。第46页/共68页第四十六页，共68页。2( , ),( )0( ),) ( ) ( )0K x xxx dxKxxx dxdx对于任意的对称函数它是某个特征空间中的内积运算的充要条件是,对于任意的且有(x,第47页/共68页

13、第四十七页，共68页。第48页/共68页第四十八页，共68页。第49页/共68页第四十九页，共68页。第50页/共68页第五十页，共68页。第51页/共68页第五十一页，共68页。第52页/共68页第五十二页，共68页。第53页/共68页第五十三页，共68页。分类器错误率人工表现2.5%决策树C4.516.2%最好的两层神经网络5.9%SVM4.0%第54页/共68页第五十四页，共68页。SVM与神经网络（NN）的对比(dub)SVM的理论基础比NN更坚实，更像一门严谨的“科学”（三要素：问题(wnt)的表示、问题(wnt)的解决、证明）SVM 严格的数学推理NN 强烈依赖于工程技巧推广能力取

14、决于“经验风险值”和“置信范围值”，NN不能控制两者中的任何一个。NN设计者用高超的工程技巧弥补了数学上的缺陷设计特殊的结构，利用启发式算法，有时能得到出人意料的好结果。第55页/共68页第五十五页，共68页。“我们必须从一开始就澄清一个观点，就是如果某事不是(b shi)科学，它并不一定不好。比如说，爱情就不是(b shi)科学。因此，如果我们说某事不是(b shi)科学，并不是(b shi)说它有什么不对，而只是说它不是(b shi)科学。” by R. Feynman from The Feynman Lectures on Physics, Addison-Wesley同理，与SVM相

15、比，NN不像一门科学，更像一门工程技巧，但并不意味着它就一定不好！第56页/共68页第五十六页，共68页。第57页/共68页第五十七页，共68页。第58页/共68页第五十八页，共68页。第59页/共68页第五十九页，共68页。第60页/共68页第六十页，共68页。第61页/共68页第六十一页，共68页。支持(zhch)向量机算法研究（续3）nSVM增量学习算法的研究n超球面(qimin)SVM算法研究nOne-class SVM算法nnSVM多值分类器算法nOne-against-the-rest（一对多方法）nOne-against-one（一对一方法）nMulti-class Object

16、ive Functions（多类SVM）nDecision Directed Acyclic Graph, DDAGnSVM Decision Treen超球面(qimin)SVM多值分类器n第62页/共68页第六十二页，共68页。第63页/共68页第六十三页，共68页。课后编程实现(shxin)题目（二选一）：设计并实现一个(y )简单的用于文本分类的SVM。设计并实现一个(y )简单的基于SVM的“新闻分离器”，主要用于对浙大BBS“缥缈水云间”中news版上的新闻进行分类。第64页/共68页第六十四页，共68页。科学研究的基本原则，很有启发、借鉴意义。第65页/共68页第六十五页，共68页。nIntroduction to Support Vector Machine.nVapnik V N. 著，张学工译. 统计学习理论.人民邮电出版社.n张学工. 关于统计学习理论与支持向量机. 自动化学报, 2000年第1期.n史朝辉. SVM算法研究及在HRRP分类中的应用. 空军(kngjn)工程大学硕士学位论文, 2005.主要(zhyo)参考文献（续）：第66页/共68页