（控制理论与控制工程专业论文）支持向量机算法及其应用研究.pdf

摘要 基于统计学习理论的支持向量机算漩具有坚实的数学理论基础和严格的理论 分橱，具有理论完蛋、全局傀化、适应性强、推广能力好等优点，是机器学习中 鲍一耱薪方法耱磅究薪熬点。它使爰结搴鑫菇陵最毒纯凝翔，综会了统诗学习、穰 器学习和神经网络等方面技术，在最小化经验风险的同时，有效地提高了算法泛 化能力。它与传统的机器学习方法相比，具有良好的潜在应用价值和发展前景。 零文努橱秘总结了瑰有黪a 秘典型支持自量辍算法，提凄了旗手缀合式多类 别分类器思想的p c a 支持向量机算法、加权p c a 支持向量机冀法、借鉴核函数 方法的小波支持向量机算法、r s s v m 劝态预测方法、模糊二叉树支持向量机等 算法，对其算法性能窝应照 乍了深入研究。主要工馋包括； 1 系统地磷究了支持向鳖柱的求解方法。主要奄支持向量枫的二次援翊求解 法、选块法、分解法、序列最小优化方法、基于l a g r a n g e 函数的迭代求解方法即 l a g r a n g e 支持向量枫、基于s m o o t h i n g 处理的牛顿求解方法。这魑方法是通过求 勰强二次麓翊弱蘧或蒋大缎缓蘑蘧转健液若干子离嚣荐求簿凸二次勰黧目爨，竣 者娥转化为无约束最优化问题再利用比较成熟的最优化方法求解。通过对它们的 分析，为提出新的支持向量机算法提供了理论基础。 2 。研究了蕊予三。范数分类闻疆的三季中支持向量执。重点研究了厶范数支持逝 鬃梳在线往和稚线性两种情形下的算法瑷论和实蕊，分析了采用五。范数度蚤分类 间隔的上。范数支持向量机最优化问题表示方法。在离维特征空间中，厶范数支持 向爨机表现出了较好的特馥匪缩效果，掰且可以节销测试计算对间。 3 磅究了p c a 支跨两髓梳及扩震算法。挺密了p c a 支持蠢豢褪缝合式分类 方法，解决了传统支持向最机不能进行特征变换的预处理问题。提出了加权p c a 支持向量机算法，较好地解决了样本数髑的不平衡对分类性能所带来的影响。其 次，缮鉴孩蕊数懋想，稔逡了一秘棱p c a ( k e r n e lp c a ) 方法势羯子特征变羧， 通过与支持向鬣机组合成为一种新的具有特征变换功能的k e r n e lp c a 支持向量 机分类算法。三种新的组合式支持向量机算法均可用于需消除噪声情形的模式识 剐闽题。 4 在研究支持向量棱函数条件懿罄础上，构造了一种基于小波核交数豁小渡 支持向量机。分析了算法的收敛性、通用性和泛化能力。该算法扩充较为脊翳， 实验结果表明小波支持向量枫算法具有比较理想的溺数逼近能力。 5 礴究了蘩予支簿囱爨懿靛系统辩谈瑾论蟊方法。提窭了一辩逶霜予强转窑 烧结温度检测的r s s v m 动态预测新方法，取得了较好的预测效果。对最小：乘 1 支持向量机算法及其应用研究 支掩向量机在混沌时间序列预测中的应用进行了实验研究，实验结果发现预测模 型艇有很好的性能。 6 + 通过融合模糊技术秘二叉秘方法，提出了一秘逶蠲予鼓酶诊繇豹模糊二叉 树支持向量机簿法，并蓠次暾用于东轮机调速系统敞障诊断任务，取得了陡好的 效粜。 关键词：支持两羹橇；范数；主元务季嚣；夺波谈函数；模糊聚类；系统瓣谖；故 障诊断 1 1 1 a b s t r a c t s u p p o r tv e c t o rm a c h i n e ( s v m ) b a s e do nt h es t a t i s t i c a ll e a r n i n gt h e o r yi san e w a p p r o a c ha n dr e s e a r c hf i e l di nm a c h i n el e a r n i n gb e c a u s eo fi t sa d v a n t a g es u c ha sf i r m m a t h e m a t i c t h e o r yf o u n d a t i o n ，s t r i c tt h e o r ya n a l y s i s ，c o m p l e t et h e o r 冀g l o b a l o p t i m i z a t i o na sw e l la sg o o da d a p t a b i l i t ya n dg e n e r a l i z a t i o n s v mi m p r o v e st h e a l g o r i t h mg e n e r a l i z a t i o ne f f e c t i v e l ya n dm i n i m i z e st h ee m p i r i c a lr i s ks i m u l t a n e o u s l y b yu s i n gs t r u c t u r a lr i s km i n i m i z a t i o na n ds y n t h e s i z i n gt h et e c h n i q u e si n c l u d i n gt h e s t a t i s t i c a ll e a r n i n g ，m a c h i n el e a r n i n ga n dn e u r a ln e t w o r k s ，e t c i ta l s oh a sg o o dl a t e n t a p p l i c a t i o nv a l u e sa n dd e v e l o p m e n tp r o s p e c t sc o m p a r e dw i t ht h ec o n v e n t i o n a l m a c h i n el e a r n i n gm e t h o d s 。 i nt h i sp a p e r , s e v e r a lt y p i c a ls u p p o r tv e c t o rm a c h i n ea l g o r i t h m s 嚣r eg e n e r a l i z e d f i v en o v e la l g o r i t h m sa r ep r o p o s e d t h e ya r ep c a s u p p o r tv e c t o rm a c h i n ea l g o r i t h m w h i c hi sb a s e do nt h ei d e ao fc o m b i n a t i o nm u l t i - c l a s sc l a s s i f i c a t i o n ，w e i g h t e dp e a s u p p o nv e c t o rm a c h i n ea l g o r i t h m ，w a v e l e ts u p p o r tv e c t o rm a c h i n eb o r r o w e di d e a f r o mt h ek e r n e lf u n c t i o n ，r s s v md y n a m i cp r e d i c t i o na n df u z z yb i n a r yt r e es u p p o r t v e c t o rm a c h i n e t h ep e r f o r m a n c ea n da p p l i c a t i o n so ft h ea l g o r i t h m s a r es t u d i e di n d e p t h t h er e s e a r c hi sc a r r i e do u ti nt h ef o l l o w i n ga s p e c t s ： 1 t h es o l u t i o nm e t h o d so fs u p p o r tv e c t o r m a c h i n e ，i n c l u d i n gq u a d r a t i c p r o g r a m m i n g m e t h o d ， c h u n k i n gm e t h o d ，d e c o m p o s i n gm e t h o d ，s e q u e n t i a l m i n i m i z a t i o no p t i m i z a t i o nm e t h o d ，i t e r a t i v es o l u t i o nm e t h o dn a m e dl a g r a n g es u p p o r t v e c t o rm a c h i n eb a s e do nl a g r a n g ef t m c t i o na n dn e w t o nm e t h o db a s e do nt h e s m o o t h i n gt e c h n i q u e ，a r e s t u d i e d s y s t e m a t i c a l l y t h em e t h o d se m p l o y ss o l v i n g c o n v e xq u a d r a t i cp r o g r a m m i n gd i r e c t l yo rs o l v i n gc o n v e xq u a d r a t i cp r o g r a m m i n g a f t e r c o n v e r t i n g t h e l a r g e - * s c a l ep r o b l e mi n t om a n ys u b - p r o b l e m o r u t i l i z i n g s o p h i s t i c a t e do p t i m i z a t i o nt e c h n i q u e sa f t e rc o n v e r t i n gt h ec o n s t r a i n e do p t i m i z a t i o n p r o b l e mi n t ou n c o n s t r a i n e do n e s t h et h e o r yf o u n d a t i o nf o rp r e s e n t i n gn e ws u p p o r t v e c t o rm a c h i n ea l g o r i t h m si sl a i db ym e a n so fa n a l y z i n gt h o s em e t h o d s 。 2 t h r e es u p p o r tv e c t o rm a c h i n e sb a s e do n l p - n o r mc l a s s i f i c a t i o nm a r g i na r e s t u d i e d t h ea l g o r i t h m st h e o r ya n dr e a l i z a t i o no ft h e l l * n o r ms v m u n d e rl i n e a ra n d n o n l i n e a rc o n d i t i o n sa r ee m p h a t i c a l l ys t u d i e d t h eo p t i m i z a t i o np r o b l e mo fl - n o r m s v mw h i c ha d o p t st h e l p - n o r m t om e a s u r et h ec l a s s i f i c a t i o nm a r g i ni sa n a l y z e d 。i n h i g hd i m e n s i o n sf e a t u r es p a c e ，厶- n o r ms v ms h o w sb e t t e rf e a t u r ec o m p r e s s i o n = = ：。! ：= ：。：。! 主堑堑塑! ! ! 茎鋈墨董堡里! 些= ：。：= = = ：= = = ：! ：= = 。：= ： r e s u l ta n ds a v e st e s t i n gc o m p u t a t i o nt i m ei nt e s t i n g 3 p c as v ma n di t se x t e n d e d a l g o r i t h m a r es t u d i e d t h ec o m b i n a t i o n c l a s s i f i c a t i o nm e t h o du s i n gp c as v mi s p r o p o s e da n dt h ef e a t u r et r a n s f o r m a t i o n p r e p r o c e s sp r o b l e m ，w h i c hc o n v e n t i o n a ls v mc a nn o tb ec o m p l e t e l ys o l v e d ，i s s o l v e d aw e i g h t e dp c as v mi sa l s op r o p o s e da n dt h ei m p a c to ft h ec l a s s i f i c a t i o n p e r f o r m a n c eg e n e r a t e db yt h eb i a s e ds a m p l e si se l i m i n a t e d + k e r n e lp c am e t h o db a s e d o i ll e s s o n s o i nk e r n e lf u n o t i o ni d e a sc o n s t r u c t e d t h em e t h o dh a sb e e nu s e df o r f e a t u r et r a n s f o r m a t i o n ，an o v e lk e r n e lp c as v mc l a s s i f i c a t i o na p p r o a c hw i t hf e a t u r e t r a n s f o r m a t i o n f u n c t i o ni s p r e s e n t e dt h r o u g hc o m b i n i n g t h ep c aw i t ht h e c o n v e n t i o n a ls v m 。a l lt h et h r e en e wc o m b i n e dt y p es v ma l g o r i t h m sc a nb eu s e dt o s o l v ep a t t e r nr e c o g n i t i o np r o b l e mr e q u i r i n gn o i s ee l i m i n a t i o n 4 w a v e l e ts v ma l g o r i t h mb a s e do nw a v e l e tk e r n e lf u n c t i o ni sc o n s t r u c t e da f t e r s t u d y i n g t h ek e r n e lf u n c t i o n c o n d i t i o n s o fs u p p o r tv e c t o r ，i t sc o n v e r g e n c ea n d c o m m o n a l i t ya sw e l la sg e n e r a l i z a t i o na r ea n a l y z e d t h ew a v e l e ts v mc a nb e e x t e n d e de a s i l ya n de x p e r i m e n tr e s u l t ss h o wt h a ti th a sg o o df u n c t i o na p p r o x i m a t i o n a b i l i t y 5 + s y s t e mi d e n t i f i c a t i o nt h e o r ya n da p p r o a c hb a s e d o ns v ma r es t u d i e d ak i n d o fr s s v md y n a m i cp r e d i c t i o na p p r o a c hi sp r e s e n t e da n da p p l i e dt op r e d i c tt h e t e m p e r a t u r eo ft h er o t a r yk i l ns i n t e r i n gp r o c e s sa n dg o o dp r e d i c t i o np e r f o r m a n c ei s o b t a i n e d t h ee x p e r i m e n t a lr e s e a r c ht op r e d i c tt h ec h a o t i ct i m es e r i e sa d o p t i n gl e a s t s q u a r es v m i sd e v e l o p e da n dt h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r e d i c t i v em o d e l h a st h ee x c e l l e n tp r e d i c t i o np e r f o r m a n c e 6 ak i n d o ff u z z yb i n a r yt r e es v ma l g o r i t h mw h i c hi ss u i t a b l ef o rf a u l t d i a g n o s i st a s ki sp r o p o s e dt h r o u g hf u s i n gt h ef u z z yt e c h n i q u ea n db i n a r y t r e e a p p r o a c h t h i sm e t h o di sa p p l i e dt o f a u l td i a g n o s i st a s ko fh y d r o t u r b i n es p e e d r e g u l a t i n gs y s t e mf o rt h ef i r s tt i m ea n ds a t i s f a c t o r ye f f e c ti so b t a i n e d k e yw o r d s ：s v m ；n o r m ；p r i n c i p l ec o m p o n e n t sa n a l y s i s ；w a v e l e tk e r n e lf u n c t i o n ； f u z z yc l u s t e r i n g ；s y s t e mi d e n t i f i c a t i o n ；f a u l td i a g n o s i s v 湖南大学 学位论文原创性声明 本人郑重声确：瘊呈交豹论文是本人在导邸熬獾导下疆立进行疆究新敬 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何熊 他个人或集体已经发表或撰写的成果作懿。对本文的研究做出煎要贡献的个 人帮集体，均穗在文中酸溺确方式标明。本人完全懑谈妥本声瞬的法律爱慕 e 妇本人承担。 俸者签名：目赣：知霹年尹月霉目 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保蜜著向黧家有关部门绒枫搀送交论文瞧复印件晕爨邀子舨，允诲论文被奁 阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 论文。 本学位沧文属于 1 、保密口，在年解密后适用本授权书。 2 、不绦密滔。 ( 请在以上相应方框内打“j ”) 终者魏枷薯 导师签名： 强期：猁年季胄s 妥 日期：年月日 博b 学位论文 1 1 论文研究背景 第l 纛绪论 入类魏餐慧中一令重要熬方嚣表瑰农麸过去熬数越窝疆往豹麴疆中学习瓣戆 力。通过归纳举习，得到对客观世界的认识和规律。这些规律w 以帮助人类认识 现肖的世界，间时帮助人类对未知的现魏做出正确的预测和判断。人们把从过去 的数握窝班往的知识中学习并获取援律靛能力稚为学习能力；塌获褥熬规律不仅 可以鳃释最知的实例，露氨熊够霹未翔鹃现象做出藤确的预测积剡断，这种熊力 称为推广能力。 在人工智能的研究中，人们用计算机来模拟这种学习能力的润题常常被称为 基于数据静稷嚣学习蠲戆。蘩予鼗蕹瓣筏撰学习蘩强务裁是竣谤策耱方法襄援墅， 通过对已知数据的学习，找到数据内在的相互依赖必系，从而对已知数据进彳亍预 测和判断，其麒的最终是使机器具有良好的推广钱力。 绞诗学在掇器学习中熬整重要熬綦戳终爱，毽爨馁绞豹绞诗攀疆究豹主黉建 渐进理论，邵潞样本趋予茏穷多时的统计性质。所域基于传统统计理论的备种学 习方法，都是以样本无穷夥为前提来推导算法。然而现实中，我们面对的样本数 量谯往是十分露跟的，通常的方法是仍以样本无穷多为瑕设进孬冀法推导和建攘。 当群本数较多辩，羯这耱方法褥弱蘸绣采蠢薅是蕊戳令天满意翡。镄露，在瞀遴 的神经嘲络学习中，当样本数有限时。本来很好的学习机器却表现出很差的推广 能力，这种现象被称为过学习现象。 为了解抉这类垂霉题，久瓣进括了坚持不獬瓣磅究王终，壹裂2 0 澄纪7 e 冬锭， v a p n i k 等人开始建立一种研究有艰样本情形下统计规律及学习方法性质的璎论郎 统计学习理论( s l t ，s t a t i s t i c a ll e a r n i n gt h e o r y ) t 1 , 2 1 ，它为有限样本的机器学习问 题建立了一个良好懿理论撰桨，较好蟪簸狭了小样本、菲线性、巍攘数鄹届郝援 小点等实际闻题，其孩心聪憨就是学习飘器要与裔隈鲍训练榉零裾逶应。豢鬟 1 9 9 5 年，v a p n i k 和他的合作者们明确撼出一种新的邋用学习方法支持向爨机 ( s v m ，s u p p o r t v e c t o r m a c h i n e ) 1 1 , 2 1 慝，该理论才受到广泛的熬视并应用到不闷 戆领域。支持囱藿辊方法蘸涟锈楚予磷究除段，它镄存在许多蠢特逮一步磺究秘 探讨的问题，如为保证学习一机器具有最佳推广能力丽需进行模烈参数选择问题； 把二类别分类撼广到多类别分类的问题；在处理大规模问题时，为减少计算时间 积存馕空润夔舞法实瑷翔麓等。 戈捧向量机算法及其j 、v 用研，t 1 2 机器学习问题与发展 如果一个系统能够通过执行某种过程而改进它的性能，就是学习。学习就是 系统获取知识，使其本身能力增强或者改进的自我完善过程，使得其在f 次执行 同样的任务或类似的任务时，能做得更好、效率更高以及适应性更强。而机器学 习则是用机器来模拟人类学习活动，使机器能够在识别现有的知识基础上自动获 取新的知识，并不断完善其性能。它是人工智能中一个重要的研究领域，也是该 领域核心课题之一。任何一个人工智能系统，都拥有功能较强的自动知识获取能 力。机器学习的研究围绕着三个基本方向：学习机理的研究即研究人类自身学习 机制，人类获取知识、技能和抽象概念的能力，从根本上解决机器学习中存在的 各种问题；学习方法的研究即探索各种可能的学习方法，建立起独立于应用领域 的学习算法；面向任务的研究即根据特定任务的要求，建立相应的学习系统。 1 2 1 机器学习的发展 基于数据的机器学习按实现方法大致分为三种：第一种是经典的( 参数) 统计 估计方法；第二种为经验非线性方法，如人工神经网络方法；第三种是统计学习 理论。它的发展可以分为四个阶段i l o j 。 1 学习机器的产生 关于机器学习的研究，可以追溯到2 0 世纪4 0 5 0 年代，当时人们就从仿生 学的角度开展了对人类大脑及神经系统学习机理的研究。如在1 9 4 3 年，m c c u l l o c h 和p i t t s 对神经元模型( 简写为m p 模型) 的研究。1 9 5 7 年，f r o s e n b l a r t t 提出了 第一个学习机器的模型即感知器【3 】，这标志着用数学方法研究学习过程的开始。 他把感知器的模型表现为一个计算程序，并通过实验说明了它的推广能力。1 9 6 2 年，n o v i k o f f 证明了关于感知器的第一个重要定理，这一定理在创建学习理论中 起到了十分重要作用，也是学习理论的开始。 2 学习理论基础的创立 在感知器被提出来后，人们很快提出了其它类型的学习机器，如白适应学习 机，隐马尔可夫模型等来解决实际问题】。但这些机器只是解决实际问题的工具， 并非学习问题的一般模型。1 9 8 6 年，完成了构造一般性学习机器即后向传播技术 的研究。在此期间，也产生了统计学习理论并有了较大发展，产生了经验风险最 小化原则的理论和算法复杂度的思想。 3 神经网络的创立 后向传播技术的发现是感知器的一次飞跃，感知器也称为神经网络。该技术 在修改模型时，新的神经元的合成是一个连续函数。利用计算神经元的系数的梯 度，可以应用任何基于梯度的方法来构造对期望函数的逼近。在众多的实际应用 中，神经网络取得了很好的效果。 4 统计学习理论 在2 0 世纪6 0 一7 0 年代，v a p n i k 创立了统计学习理论【6 j 。与传统统计学相比， 绞诗学习理论爱一季孛专门矫究小样本壤援下枫器学习瓣嚣熊理论。到丸_ 一年代中 期，随着其理论的不断发聪和成熟，也 蟊于神经网络等学习方法在理论上缺乏实 质性进展，统计学习理论开始受到越来越广泛的重视。该理论怒建立在一褰较坚 实的理论基础之上的，为瓣决有限样本学习问题提供了个统的框架。它能将 投多现畜方法缡入其中，套麓帮韵解决许多藤来难黻解决貔滔麓f 琵舞棒爱隧络结 构选择问题、局部极小点问题等) ；同时，在这一理论基础上发展了一种新的通用 学习方法支持向量机，它已表现出很多优于已谢方法的性能。些学者认为， s l t 帮s v m 正在藏受继瓣经霹络疆究之螽耨瓣磅焚熬赢，著姆骞力建接劫羰器 学习理论和技术的发展。 1 2 2 机器学习问题 学习翊麓熬影式纯表述方式缀广，爨基本靛三类凝器学习翊戆秀模式谖鬻( 分 炎问题) 、函数逼近( 回归估计问题) 和概率密度问题【l 】。 1 模式识别问题 模式识别阏蘧郄分类翊题，缓设训练极器静稔如囊嚣瓣，搿y = + l ，一t 1 ，令 f ( x ，伐) ，伐e a 为指示函数集台，损失醺数为：当y f ( x ，a ) 时，l ( y ，瓯堪) ) 一1 ； 当y f ( x ，) 时，o ，f ( x ，啦) ) = 一1 。对于该损失函数。风硷泛隔艘( 值) 确定了训练 机器和指示蘧数f ( x ，程) 输如不同的概率。把该训练机器输出和攒示涵数输出不同 斡情况称夤分炎错误。西鼗，对模式谈藤闻题来说，学习闼熬就是在概率溯度 f ( x ，y ) 未知，给定数据的情况下，寻找使得分类错谈概率最小的函数。 2 回归估计问题 毯羟毽诗潮蘧氇聱函数遴返润蘧，簸浚鼙| | 练裁嚣熬羲窭麓实数篷y ，f ( x ，貔， 强a 为实函数集合，令损必函数为l ( y , f ( x ，位) ) ；f ( x ，o c ) ) 2 。嘲归函数就鼹在损 失函数下使得风险泛函g ( a ) = 1 2 ( y ，( 墨c t ) ) d f ( x ，y ) 最小的函数。因此，对回归估计 闷越来说，学习问题就是程概率溅度f ( x ，力未知，绘定数据的馕况下，寻找经得 r ( “1 最小的密度函数。 3 密度估计闯题 密度嵇诗| 、蘧蘧磷究麸密发遁数集瓴程) ，程a 串 鑫诗密度涵羧豹闼题。令揍 失函数为l ( p ( x ，值) ) = 一l o g p ( x ，) ，所要求的密度函数就是在损失函数下使得r ) 最小化。换句话说，密度估计的问题也即在相应的概率密度f ( x ) 未知，给寇数据 豹。 骞蕴下，寻技镬褥囊缸) 壤，l 、豹密度爨数。 史持向量机算法及其臆用删宄 1 2 3 经验风险最小化原则 学习的目的是根据给定的训练样本求系统输入输出之间的依赖关系。学习问 题可以一般地表示为变量y 与z 之间存在的未知依赖关系，即遵循某一未知的联 合概率f ( x ，y ) 。机器学习问题就是根据n 个独立同分布观测样本： ( x l ，y 1 ) ，( x 2 ，y 2 ) ，一，( x 。，y 。) ( 1 1 ) 在一组函数 f ( x ，w ) 中求一个最优的函数f ( x ，w ) 对依赖关系进行估计，使期 望风险 r ( w ) = l l ( y ，f ( w ，w ) ) d f ( x ，y ) ( 1 2 ) 最小。其中 f ( x ，w ) 称作预测函数集，w 为函数的广义参数。 f ( x ，w ) ) 可以表示任 何函数集。l ( y ，f ( x ，w ) ) 为由于用f ( x ，w ) 对y 进行预测而造成的损失。不同类型的 学习问题有不同形式的损失函数。 在传统的学习方法中，采用了所谓的经验风险最小化( e r m ，e m p i r i c a l r i s k m i n i m i z a t i o n ) 原则，即用样本定义经验风险 1 ， r e m p ( w ) = y l ( y ；，( 一，) ) ( 1 3 ) j = l 机器学习就是要设计学习算法使r ( w ) 最小化，作为对式( 1 2 ) 的估计。 在早期的神经网络研究中，人们总是把注意力集中在如何使也。( w ) 更小，但 很快发现一味追求训练误差小并不是总能达到好的预测效果。在某些情况下，当 训i 练误差过小反而会导致推广能力的下降。此即几乎所有神经网络研究者都曾遇 到过的过学习问题。出现过学习的原因有，一是学习样本不充分；二是学习机器 设计不合理。这两个问题是相互关联的，在神经网络学习中，对于有限样本，如 果神经网络的学习能力过强，足以记住每一个训练样本，此时经验风险很快就可 以收敛到很小甚至为零，但是无法保证它对新训练样本能够得到好的预测。因此， 在有限样本情况下，经验风险最小化并不一定意味着期望风险最小，而且学习机 器的复杂性不仅要与所研究的系统有关，还要与有限的学习样本相适应。即有限 样本下学习机器的复杂性和推广能力之间存在着矛盾，采用复杂的学习机器容易 使学习误差更小，但却往往丧失了推广能力。统计学习理论的发展为解决此问题 提供了坚实的理论基础和有效方法。 1 3 统计学习理论 统计学习理论被认为是目前针对小样本统计估计和预测学习的最佳理论。它 从理论上系统地研究了经验风险最小化原则成立的条件、有限样本下经验风险与 期望风险的关系以及如何利用这些理论找到新的学习原则和方法的问题。统计学 博i j 学位论文 习理论主要内容包括：分析算法推广能力的基础即函数集的v c 维( v a p n i k c h e r v o n e n k i sd i m e n s i o n ) 理论；学习过程一致性概念和关键定理；结构风险最小 化原则1 2 , 7 , 8 1 。 1 3 1 函数集的v c 维 统计学习理论是关于小样本进行归纳学习的理论，其中一个重要的概念是v c 维，v c 维概念是建立在点集被“打散”的概念基础上。 定义1 1 设f 是一个假设集，即由在x c r ”上取值为一1 或+ 1 的若干函数 组成的集合。记z 。= 一，x 。) 为工中的朋个点组成的集合。考虑当厂取遍f 中的 所有可能的假设时产生的研维向量( f ( x ，) ，f ( x 。) ) 。定义n ( f ，z 。) 为上述珊维向 量中不同的向量的个数。 定义1 2 设f 是一个假设集，z ，= x l ，- ，x 。) 为中的m 个点组成的集合， 若n ( f ，z 。) = 2 “，称z 。被f 打散，或f 打散z 。 定义1 3 ( 增长函数) 增长函数n ( f ，m ) 定义为 n ( f ，聊) = m a x n ( f ，z 。) ：z 。c x ( 1 4 ) 其中，z 。= “，x 。 是中的m 个点组成的集合，m a x ) 是对整个肖中点而 言的。 定义1 4 ( v c 维) 假设集f 是一个由x 上取值为+ l 或一1 的函数值组成的集 合。定义f 的v c 维为 v c d i m ( f ) = m a x m ：n ( f ，m ) = 2 ”) ( 1 5 ) 当枷：n ( f ，m ) = 2 ) 是一个无限集合时，定义v c d i m ( f ) = 0 0 。 模式识别方法中v c 维的直观定义是：对一个指示函数集，如果存在m 个样 本能够被函数集里的函数按照所有可能的2 ”种形式分开，则称函数集能够把州个 样本打散。函数集的v c 维就是它能打散的最大样本数目晰。例如，对于二分类 问题而言，m 是运用学习机器的函数集将点集以2 “种方法划分为两类的最大的点 数目，即对于每个可能的划分，在此函数集中均存在一个函数_ ，；l ，使得此函数对 其中一个类取+ 1 ，另外一个类取一l 。假设取在2 维实平面的3 个点，它们为+ 和o 点的组合，如图1 1 所示，若分别用r ，b ，p 3 个字符来表示，3 个点 最多可以存在2 3 种划分即( r p , b ) ( r b ，p ) ( p b ，r ) ( r p b ，) ( b ，r v ) ( p ，r b ) ( r ，p b ) ( ，r p b ) ；其中二元组的第一项指示的是+ 1 类，第二项指示的是一l 类。对于任 意一个划分，均可以在函数集中找到一个有向线对应之。另外，该函数集合无法 划分2 维平面中任意4 个点。因此，函数集合的v c 维为3 。若对任意数目的样 本都有函数能将它们打散，则函数集的v c 维是无穷大。有界实函数的v c 维可 以通过用一定的闷值将它转化成指示函数来定义。 支持向量机算法及其心用研究 图1 1 z 3 被f 。打散示意图 v c 维反映了函数集的学习能力。一般而言，v c 维越大则学习机器越复杂， 学习能力就越强。目前尚没有通用的关于任意函数集v c 维计算的理论，只对一 些特殊的函数集知道其函数维。例如在胛维实数空间中线性分类器和线性实函数 的v c 维是”+ 1 ，而f ( x ，a ) = s i n ( a x ) 的v c 维则为无穷大。如何用理论或实验的方 法计算其v c 维是当前统计学习理论中有待研究的一个问题。 1 3 2 学习过程一致性概念和关键定理 学习过程一致性结论是统计学习理论的基础，也是它与传统渐进统计学的基 本联系所在。只有满足学习过程一致性条件，才能保证在经验风险最小化原则下 得到的最优方法当样本无穷大时趋于使期望风险最小的最优结果。 1 3 2 1 学习一致性的经典定义 为了从有限的观察中构造学习算法，需要一种渐进理论来刻画学习过程一致 性的充分必要条件。设l ( z ，) 是对给定的独立同分布观测毛，：，使经验风险泛函 1 f r 。= 上( z i , a ) 最小化的函数。 i = 1 定义1 5 ( 经验风险最小一致性原理) 对于指示函数集l ( y ，x ) 和概率分布函数 f ( y ) ，如果下面两个序列概率地收敛到同一极限，则称为经验风险最小一致性 ( e r m ) 。 r ( ) 生! 专i 蟑月( w ) ( 1 6 ) r 。p ( w f ) ：= j i n f 鼻( w ) w e a ( 1 7 ) 抉句话说，如粜经验风险锻小化方法怒一致性，那么它必须提供一个函数序列 l ( y ，x ，) ，= 1 , 2 ，使得期艇风险和经验风险收敛到个可能最小的风险值。式 ( 1 。6 ) 翔定蒇陵嫂敦到最好翡可戆毽。式( 1 。7 ) 馒入爨可以投攥经验挝睑判定 髅计风险可熊的最小值。圈1 2 说萌了嚣期望风险r ( 啦) 和经验j x i 险毽。( 啦) 都收 敛到最小可能的风险值癯 露( w ) ，则学习过程是一致的。 豳i 2 学习进程一致健 t 3 2 2 毓计学习理论的关键定理 v a p n i k 秘c h e r v o n e n k i s 予：1 9 8 9 年掇揽了麴下学邂理论豹关键定理。 定理1 1 设函数集三，善) ，w a 满怒条箨 a i l ( y ，w ) d f ( y ) bi 置( 们茎功 ( t 8 ) 箨么，e r m 舔瓣一致毪熬充分登要祭律楚：经验鼹殓震。奶在整令蘧数集 三 ，忉，w a 上在如下意义下一致收敛于实际风险r ( w ) ： t i m p s u p ( r ( w ) 一咒。( w ) ) 8 = o ，v 0 ( 1 9 ) * 刚称这类一致性收敛为单侧致性收敛。 1 3 2 3v c 熵 定义1 6 浚a 势奶鹭帮a ，建毒晏损失薮数嚣集会。馊溺这令嚣觳嶷 和朔f 练集气，可以构造下列，维向量熊合： g ( w ) = ( q l ，w ) ，l ( z ，w ) ) ，w a ( 1 1 0 ) 这令彝量集瘸予f 维立方体，并虽在品质c 上有有艰最小网络。设 n = n a ( ；，) 是向基絮譬( w ) ，w a 袋小弼络元索的数蠢。 因为n “( 隔，z ，) 是一个随机变量，因为它是使用随机向爨。i _ 一，刁构造的。 随机值n “ 被称为函数集a l ( y ，。) 抗，a 对于训练样本2 i ，一，z i 的随机v c 熵a 随机v c 熵的 期望 日“( e ；1 ) = e h “( c ；z 一，= ，)( 1 1 2 ) 被称作函数集a z ( y ，w ) b ，w a x 寸于- i ) l l 练样本数，的v c 熵。其中，期望值取乘 积测度f ( z 1 ，z 。) 。 定理1 2 一致双边收敛的充分必要条件是下式成立： l i m 尘警：o ，v o( 1 1 3 ) z 也就是说，随着观察数目的增加，v c 熵与观察数目的比值应该趋近于0 。 推论1 1 在指示函数集l ( y ，w ) ，w 人可测性的一定条件下，一致双边收敛的 充分必要条件是： l i m 华：0 ( 1 1 4 ) 此即式( 1 1 3 ) 的一一个特例。 定理1 3 对完全有界函数集l ( y ，w ) ，w a 为了使经验方法一致单边收敛于其 期望值的充分必要条件是对于任何正的6 ，1 1 和，存在函数集l t ( 弘矿) ，w + a + 满 足 l ( y ，w ) 一l + ( y ，w + ) - 0 ，v y ( 1 1 5 ) j ( ( y ，工) 一l4 ( y ，w 木) ) d f ( y ) 6 ( 1 1 6 ) 对于样本数z ，l + ( _ y ，矿) ，矿a s 的熵下式成立： l 。i m 譬竽 。 ， 其中退火v c 熵为 h 二。u ) = l n e “( z ，z p 3 运用生长函数来定义 ( 1 1 7 ) 即依次根据以下三种方法柬 ( 1 1 8 ) ( 1 1 9 ) ( 1 2 0 ) 其中生长番数为 l i m c a ( z ) ：o m z g u ) = i ns u p ( z ，都) z ，z 。 ( 1 2 1 ) ( 1 2 2 ) l 。3 。3 结梅甄硷最夺健源剿 ； 传统机器学习方法中蒋遍采用翦经验风险最小他原则在样本数据有限时怒不 合理的。因为缀验风险和谶信范围需同时最小。实际上，在传统方法中，选择学 习模型积箕法熬过程裁是傀纯置信范溺的过程，若选择的模型比较适合现有的训 练样本( 相当予h n 值遥当) ，瓣可敬取得毙较好的缭采。譬鲡程神经网络中，需 要根据问题和样本的具体情况来选择不同的网络结构( 对应不同的v c 维) ，然后 进行经验风险嫩小化。 为瓣决经狳风殓霸置傣麓围这嚣舔矮，l 、往鼹险泛函潼遂，这装给遗一般缀翔， 即结构风险最小化原则( s t r u c t u r a lr i s k4 m i n i m i z a t i o n ) ，简称s r m 原则。 1 3 3 1s r m 原删的数学辫逑 辩指示函数集中豹掰蠢涵数( 惫搔镁经验最砼溅夺弱丞数) ，经验鬣验酝。( 哟 和实际风险晨( w ) 之间以至少1 一t 1 的概率满足如下的芙系： 霞( w ) 震。( 奶+ j h ( 1 n ( 2 h ) 专_ 1 ) - i n ( v ! 4 ) ( 1 2 3 ) l 其中h 是函数粲的v c 维，f 是样本数， 1 是满足0 q l 的参数。 由此可见，统计学习的实际风险艘) 由两部分组成：一是缀验风险( 训练误 蓑) 震一( 叻，另一部分称为置信