（控制科学与工程专业论文）最小二乘支持向量机及其在工业过程建模中的应用.pdf

浙江大学博士学位论文 摘要 传统的工业过程建模大多基于精确的数学模型，这种方法适用于运行机理和 过程特性已知的工业系统。对于结构复杂、非线性、时变的工业系统，透彻分析 其过程机理并建立精确数学模型是相当困难的，常常需要付出很大的人力和物 力。在许多实际生产过程中，对系统机理和数学模型知之甚少的工程技术人员， 通过观察和经验总结仍然对系统进行良好的手动控制。因此，采用机器学习的方 法来模拟人类的这种行为是一种有效的技术方法。 研究小样本下的分类或回归估计问题，研究者们提出了统计学习理论。统计 学习理论作为机器学习一个分支，由于其优异的特性及应用前景受到越来越多的 关注。支持向量机( s v m ) 衍生于统计学习理论，能够在最小化训练误差和模 型复杂度之间找到最佳平衡点，是一种比较经典的机器学习方法。由于秉承了统 计学习理论的主要思想( 如结构风险最小化、v c 维) ，支持向量机可以在有限 样本下得到全局最优，从而避免局部最优问题。 1 9 9 9 年s u y k e n s 与v a n d e w a l l e 将支持向量机的二次规划问题替换为一组线 性等式，提出了最小二乘支持向量机( l s s v m ) 。与采用线性或非线性规划方 法的其它支持向量机算法相比，l s s v m 具有降低计算复杂度的优点。因此，最 小二乘支持向量机在许多分类或回归估计问题中取得了很好的应用效果。 本文以最小二乘支持向量机在建模、预测和控制方面的应用为背景开展研究 工作，提出一些适用于动态系统特征提取、建模、预测和控制的最小二乘支持向 量机改进算法。本文的主要贡献如下： 1 在支持向量机回归估计中，输入样本间的自相关或互相关的特性会恶化支 持向量机的泛化性能。因此对支持向量机的输入数据进行特征提取，是解 决该问题的一个重要步骤。本文提出一种基于动态独立分量分析( d i c a ) 的特征提取方法，由于从自相关和互相关的输入变量中提取独立分量， d i c a 更适用于动态过程变量的特征提取。将d i c a 方法分别应用于广义支 持向量机或最小二乘支持向量机回归估计，构成多层支持向量回归估计器。 第一层为降低分析复杂性，提高回归估计鲁棒性的d i c a 特征提取层：第 二层为实现系统动态建模的s v m 或l s s v m 层。将d i c a l s s v m 辨识器 i i 摘要 用于t e 过程组分浓度估计与建模，仿真结果表明：d i c a l s s v m 的估计 精度优于不采用特征提取的l s s v m 估计器，以及基于p c a 、d p c a 、i c a 特征提取方法的估计器。 为提高l s s v m 动态建模的实时性，本文提出一种基于限定、增长和缩减 记忆模式下的递推最小二乘支持向量机算法( r l s s ) 。三种记忆模式算 法无需求逆，使最小二乘支持向量机的在线建模速度更加快捷。进一步合 理运用三种建模模式，又提出了以最小化预报误差为目标的自适应建模方 法，使得l s s v m 更适用于在线学习与预报的工业应用场合。仿真算例和 自来水厂投药系统的仿真实例验证了该方法的有效性和优越性。 使最d 、- - - - - 乘支持向量机的解具有稀疏性，本文提出一种稀疏解算法矢 量基学习。通过引入基矢量、基矢量集与解空间的概念，从分析新样本矢 量与解空间的夹角入手，推导出该样本是否为基矢量的判断准则。随着新 样本的到来，在线判别支持向量，从而使l s s v m 的支持向量具有稀疏性。 为改进基于矢量基学习的l s s v m 动态建模实时性，进一步提出了适用于 矢量基学习的增长记忆模式递推公式。仿真算例及水处理厂的应用实例验 证了该方法的可行性和有效性。 考虑过度拟合和野值点对辨识模型的影响，应用正态分布函数的 一些特性，本文提出基于正态分布加权的最d - 乘支持向量机。根据预测 误差的统计特性，以确定加权规则的参数，从而赋予训练样本不同的权值。 由于考虑了生产过程中样本的一些特性，因此相对已有的加权方法，基于 正态分布加权的最小二乘支持向量机更具有鲁棒性和实用性。 基于上述研究结论，提出基于l s s v m 自适应建模的预测控制( m p c ) 方 法。建立m p c p i d 串级控制结构：内环采用p i d 方法，以抗扰性为目标， 具有算法简单、高速采样、快速抗扰的特点；外环采用m p c 方法，以鲁棒 性为目标，具有提升闭环控制系统鲁棒性的特点。以一个聚合反应器为研 究对象，进行仿真研究，实验结果验证了该控制结构具有很好的控制性能。 关键词：最小二乘支持向量机；回归估计；过程建模；鲁棒性；稀疏解；过 程控制 浙江大学博士学位论文 i i i a b s t r a c t t h et r a d i t i o n a la p p r o a c h e so fi n d u s t r i a lp r o c e s sm o d e l i n ga r em a i n l yb a s e do n a n a l y t i c a lm o d e l s t h i sk i n do fm e t h o di ss u i t a b l ef o rt l l es y s t e m st h a tw eh a dk n o w n c l e a r l yh o wt h e yw o r k f o rc o m p l e x n o n l i n e a ra n dd y n a m i ci n d u s t r i a ls y s t e m ，i ti s u s u a l l yh a r dt oa n a l y s i st h em e c h a n i s mo fp r o c e s s e sa n dt ob u i l du pt h em a t h e m a t i c m o d e l s m o r e o v e ri tw i l lt a k eu su n b e a r a b l es t a f fc o s ta n df i n a n c i a lc o s t i nm o s tr e a l p r o d u c t i o np r o c e s s e s ，a ne x p e r i e n c e dh u m a no p e r a t o rm a yh a v el i r l ek n o w l e d g e a b o u tac o m p l e xs y s t e m ，b u tc a ns t i l lr e g u l a t ec o n t r o ls y s t e m ss a t i s f a c t o r i l yb y o b s e r v i n gt h es i g n a l so fi n p u t sa n do u t p u t s t h e r e f o r e ，t h i sb e h a v i o ro fm i m i c k i n g t h eh u m a na b i l i t yb ym a c h i n el e a r n i n gi sa ne f f e c t i v et e c h n i q u em e a n s s t u d y i n gt h es t a t i s t i c a lc l a s s i f i c a t i o no rr e g r e s s i o np r o b l e mb a s e do nag i v e n f i n i t ea m o u n to fs a m p l e s ，t h er e s e a r c h e r sp r o p o s e dt h es t a t i s t i c a ll e a r n i n gt h e o r y ( s l t ) a san e wt e c h n i q u ef o rm a c h i n el e a r n i n g ，t h es t a t i s t i c a ll e a r n i n gt h e o r yi s g a i n i n gm o r ep o p u l a r i t yd u et od i s t i n g u i s h e dp r o p e r t i e sa n dp r o m i s i n ga p p l i c a t i o n p e r f o r m a n c e s u p p o r tv e c t o rm a c h i n e ( s v m ) ，o n eo fn o v e lm a c h i n el e a r n i n g m e t h o d s ，i st of i n daf m eb a l a n c eb e t w e e nt h et r a i n i n ge r r o ra n dt h ec o m p l e x i t yo f t h el e a r n i n gm a c h i n e b e c a u s et h ef o r m u l a t i o no fs v mi sg u i d e db yt h es t a t i s t i c a l l e a r n i n gt h e o r y ( i e ，s t r u c t u r er i s km i n i m i z a t i o np r i n c i p l e ，v a p n i k - c h e r v o n e n k i s t h e o r y ) t h e s ep r o p e r t i e se n s u r et h a ts v mc a no b t a i ng l o b a ls o l u t i o n si n s t e a do f t r a p p i n gi nl o c a lo p t i m a ls o l u t i o n su n d e rf i n i t es a m p l e s i n19 9 9 s u y k e n sa n dv a n d e w a l l ep r o p o s e dam o d i f l e dv e r s i o no fs v mf o r c l a s s i f i c a t i o n ，w h i c hi sc a l l e dl e a s ts q u a r es u p p o r tv e c t o rm a c h i n e ( l s s v m ) a n d r e s u l t e di nas e to fl i n e a re q u a t i o n si n s t e a do fac o n v e xq u a d r a t i cp r o g r a m m i n g ( q p ) p r o b l e m e s p e c i a l l y , l s - s v mh a sas i g n i f i c a n ta d v a n t a g eo f t h el o w e rc o m p u t a t i o n a l c o m p l e x i t yt h a nt h eo t h e rs u p p o r tv e c t o rm a c h i n ef o r m u l a t i o n su s i n gl i n e a ro r n o n l i n e a rm a t h e m a t i c a lp r o g r a m m i n g t h e r e f o r e ，l e a s ts q u a r e s s u p p o r tv e c t o r m a c h i n eh a ss h o w na ne x c e l l e n tc l a s s i f i c a t i o no rr e g r e s s i o np e r f o r m a n c ei nm a n y a p p l i c a t i o n s i nt h i st h e s i s t h e i n v e s t i g a t i o n s a r e m a i n l yf o c u s e d o nt h e a p p l i c a t i o n p e r f o r m a n c e so fl s s v m ，w h i c hi n v o l v et h ef e a t u r ee x t r a c t i o n ，m o d e l i n g ，p r e d i c t i o n a n dc o n t r o lp r o b l e m s s e v e r a lm o d i f i c a t i o na l g o r i t h m sf o rl s s v ma r ep r o p o s e d h e r e ，t h a tc a nb eu s e dt or e s o l v et h ed y n a m i cs y s t e mi s s u e sr e s p e c t i v e l y t h em a i n c o n t r i b u t i o n so ft h ed i s s e r t a t i o na r ea sf o l l o w s ： 1 i nd e v e l o p i n gas v m r e g r e s s i o n t h ea u t o r e l a t i v eo rc o r r e l a t e df e a t u r e so fi n p u t d a t ac o u l dd e t e r i o r a t et h eg e n e r a l i z a t i o np e r f o r m a n c eo fs v m t br e s o l v et h i s p r o b l e m ，t h ef i r s ti m p o r t a n ts t e pi sf e a t u r ee x t r a c t i o n an e wf e a t u r ee x t r a c t i o n m e t h o d ，c a l l e dd y n a m i ci n d e p e n d e n tc o m p o n e n ta n a l y s i s ( d i c a ) ，i sp r o p o s e di n m i sp a p e r t h i sm e t h o di sa b l et or e m o v et h em a j o rd y n a m i c sf r o mt h ep r o c e s s ， a n dt of i n ds t a t i s t i c a l l yi n d e p e n d e n tc o m p o n e n t sf r o ma u t o a n dc r o s s c o r r e l a t e d i v摘要 2 3 4 v a r i a b l e s t od e a lw i t ht h er e g r e s s i o ne s t i m a t i o n w ec o m b i n et h ed i c aw i t h t r a d i t i o n a ls u p p o r tv e c t o rr e g r e s s i o no rl e a s ts q u a r es u p p o r tv e c t o rr e g r e s s i o nt o c o n s t r u c tm u l t i 1 a y e rs u p p o r tv e c t o rr e g r e s s i o n t h ef i r s t l a y e ri s f e a t u r e e x t r a c t i o nt h a th a st h ea d v a n t a g e so fr o b u s tp e r f o r m a n c ea n dr e d u c t i o no f a n a l y s i sc o m p l e x i t y t h es e c o n dl a y e ri st h es v m o rl s s v mm a tm a k e st h e d y n a m i cr e g r e s s i o ne s t i m a t i o n t h i sm o d e l i n gm e t h o di sa p p l i e dt oe s t i m a t i o no f p r o c e s sc o m p o s i t i o n si nt h es i m u l a t i o nb e n c h m a r ko ft h et e n n e s s e ee a s t m a n ( t e ) p l a n t t h es i m u l a t i o nr e s u l t sc l e a r l ys h o wt h a tt h ee s t i m a t o rb yf e a t u r e e x t r a c t i o nu s i n gd i c ac a l lp e r f o r mb e a e rt h a nt h a tw i t h o u tf e a t u r ee x t r a c t i o n a n dw i t hp c a ，i c a ，d p c am e t h o d sf o rf e a t u r ee x t r a c t i o n t oi m p r o v et h em o d e l i n gs p e e do fl s - s v m ，ar e c u r s i v ea l g o r i t h mf o rt r a i n i n g l e a s ts q u a r e ss u p p o r tv e c t o rr e g r e s s i o ni sp r e s e n t e di nt h i sp a p e r 1 1 1 er e c u r s i v e a l g o r i t h mi s b a s e do nt h ef i x e d ，i n c r e a s e da n dd e c r e a s e dm e m o r ym o d e s b e c a u s et h r e ek i n d so fr e c u r s i v em o d e l i n ge x p r e s s i o nd i s p e n s ew i t ht h en e e df o r c a l c u l a t i n gt h em a t r i xi n v e r s i o n t h eo n l i n em o d e l i n gs p e e do fl s s v mi s a c c e l e r a t e di np a r t i c u l a r b a s e do nt h ec r i t e r i ao fm i n i m i z i n gt h ee s t i m a t e de r r o r , an e wa d a p t i v em o d e l i n gm e t h o di sa l s op r o p o s e dh e r e t h i sm o d e l i n gm e t h o d a d a p t e dt h el s s v mt oo n l i n el e a r n i n gp r o b l e m sa n dm o d e l i n go fr e a li n d u s t r y m o d e l i n gi s s u e s i m u l a t i o na n a l y s i sa n dt h em o d e l i n go fat y p i c a lp l a n tf o rw a t e r t r e a t m e n ta r ea l s og i v e n b e c a u s eo fe q u a l i t yi n s t e a do fi n e q u a l i t yc o n s t r a i n s t h el s s v ms o l u t i o n sl o s t t h es p a r s e n e s s t oo b t a i na s p a r s e n e s so fs u p p o r tv e c t o rf o rl e a s ts q u a r e ss u p p o r t v e c t o rr e g r e s s i o n ，a na l g o r i t h mc a l l e dv e c t o rb a s el e a r n i n g ( v b l ) i sp r o p o s e di n m i sp a p e r a n dt h ec o n c e p t so fb a s ev e c t o r ( b v ) ，b a s ev e c t o rs e t ( b v s ) a n d v e c t o rs p a c ea l ea l s oi n t r o d u c e dh e r e b yc a l c u l a t i n gt h ea n g l eb e t w e e nn e w s a m p l ev e c t o ra n dv e c t o rs p a c e ，t h ec r i t e r i aw h e t h e rt h em e a s u r e m e n tv e c t o ri s o n eo ft h eb v si sd e r i v e d a sg e t t i n gt h en e ws a m p l e ，t h ep r o p o s e da l g o r i t h m o n 1 i n ed e t e r m i n e st h a tt h em e a s u r e m e n ti st h es u p p o r tv e c t o ro rn o t t h i sm a k e s t h es o l u t i o n so fl s s v mh a v et h ef e a t u r eo fs p a r s i t y i m p r o v i n gt h em o d e l i n g s p e e do fl s s v m ar e c u r s i v ea l g o r i t h mo fi n c r e a s e dm e m o r ym o d ef o rv b l a l g o r i t h mi sa l s op r o p o s e d s i m u l a t i o na n a l y s i sa n dt h em o d e l i n go fat y p i c a l p l a n tf o rw a t e rt r e a t m e n tc l e a r l yi l l u s t r a t e dt h ev a l i d i t ya n df e a s i b i l i t yo f 也e p r e s e n t e dm e t h o d c o n s i d e r i n g t h e i m p a c t s o f e x c e s s i v e f i t t i n g a n d u n u s u a lp o i n t o n i d e n t i f i c a t i o n ，aw e i g h t e dl e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n ew h i c hb a s e do n t h en o r m a ld i s t r i b u t i o nf u n c t i o ni sp r o p o s e di nt h i st h e s i s i t sw e i g h t e dr u l e s m a i n l ya p p l ys o m es t a t i s t i c a lc h a r a c t e r i s t i c so ft h en o r m a ld i s t r i b u t i o nf a c t i o n c o n f i r m i n gt h ep a r a m e t e r so ft h ew e i g h t e dr u l e sa c c o r d i n gt ot h ep r e d i c t i o n e r r o r s ，w ec a nd e t e r m i n ed i f f e r e n tw e i g h t e df a c t o ro ne a c ht r a i n i n gv a r i a b l e s b e c a u s eo fe m p h a s i z i n gt h er e a lt i m ep r o p e r t i e so ft h es a m p l e ，t h ew e i g h t e d l s - s v mb a s e do nt h en o r m a ld i s t r i b u t i o nf u n c t i o nh a sb e r e rr o b u s ta n d p r a c t i c a b l ea b i l i t yt h a nt h ek n o w nm e t h o d s 浙江大学博士学位论文 v s u m m a r i z i n gt h er e s u l t so ft h ep r e c e d i n gc h a p t e r s ，ak i n do f n o n l i n e a rp r e d i c t i v e c o n t r o ls c h e m eb a s e do nt h e a d a p t i v el s s v mm o d e li sp r e s e n t e d a n m c p i dc a s c a d ec o n t r o ls 勃m c t 眦ei sb u i l tu p t h ei n n e rc o n t r o ll o o pi sp i d c o n t r o l l e r , w h i c hh a st h ep e r f o r m a n c eo fr e s i s t i n gt h ed i s t u r b a n c e a sw ek n o w , p i dh a st h ec h a r a c t e r i s t i c so fs i m p l ea l g o r i t h m ，f a s ts a m p l i n g ，a n dr a p i dn o i s e i m m u n i t y t h eo u t e rc o n t r o ll o o pi sm p cc o n t r o l l e r , w h i c hl e t st h ec l o s ec o n t r 0 1 1 0 0 ph a v et h ea b i l i t yo fh i g h e rr o b u s t as i m u l a t i o no fc s t rp r o c e s si sg i v e nt o p r o v et h ev a l i d i t yo ft h ep r o p o s e dm e t h o d t h es i m u l a t i o nr e s u l t ss h o wt h a tt h e n o n l i n e a r p r e d i c t i v e c o n t r o ls t r a t e g yb a s e do nl s s v mm o d e lh a sa s a t i s f a c t o r yp e r f o r m a n c e k e y w o r d s ：l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e ；r e g r e s s i o n ；p r o c e s sm o d e l i n g ； r o b u s t ；s p a r s es o l u t i o n ；p r o c e s sc o n t r o l 浙江大学博士学位论文 第一章绪论 随着生产规模的日益扩大，工业过程的系统复杂度也不断提高，如何建立 描述这些系统行为的模型，成为研究人员关注的一个焦点。建立工业系统模型 一般有三种途径( f r a n kp m ，1 9 9 6 ) ： ( 1 ) 从系统内在机理出发，推导出机理模型，机理建模方法通常要针对具 体问题仔细分析系统的动力学特性，建立物理化学平衡方程； ( 2 ) 根据输入输出信号，用系统辨识或参数估计求取一个微积分或差分数 学模型，系统辨识或状态估计主要是一些信号处理方法； ( 3 ) 根据系统运行状态下的输入输出数据，通过智能方法，建立一个基于 知识的模型。利用知识发现和人工智能的建模方法是近3 0 年以来兴 起的一个方向。 在这些多变量、非线性时变的工业过程系统中，其物理或化学动力学过程 具有以下特点：状态变量维数高、各部分强相互关联、检测信号粗糙而不完整、 干扰随机、系统参数时变等等。这就要求被控对象的动力学模型不仅有学习和 识别的能力，而且对环境和干扰有较强的鲁棒性，所以建立数学解析模型具有 一定的困难。因此，作为数学解析建模的一种补充方法，过程辨识和人工智能 是研究者们关注的一个研究方向。由于过程辨识和人工智能能够在信息量不足、 信息不完备情况下，对那些用数学模型难以描述的复杂系统进行建模，在工业 过程、计划决策、商品制造中得到了广泛应用。 从观测数据出发寻找规律，去推断该事务可能的规律性一直是统计学习理 论的研究重点，该方法是科技工作者在面对数据而又缺乏理论模型时的最基本 分析手段。传统学习方法所研究的是渐进理论，即当样本数目趋向于无穷大时 的极限特性、估计的一致性、无偏性和估计方差的界等都属于这种渐进特性。 由于实际应用中这种前提条件却往往得不到满足，因此采用经验风险最小化准 则( e m p i r i c a lr i s km i n i m i z a t i o n ，e r m ) 的传统学习方法，虽然可以使训练误 差最小化，但不能最小化学习过程的泛化误差，例如神经网络的过学习问题。 为此，上世纪6 0 年代出现了有限样本情况下的机器学习研究工作。由于理 论的不完善，有限样本下的机器学习在解决模式识别的问题中往往趋于保守， 而且数学上也比较艰涩。直到9 0 年代v a p n i k 提出了结构风险最小化准则 ( s t r u c t u r a lr i s km i n i m i z a t i o n ，s r m ) 后，有限样本下的统计学习理论才逐渐 2第一章绪论 成熟起来，并形成一个较完善的体系。 1 1 机器学习简介 1 1 1 机器学习的基本问题 机器学习的一般模型可以用如图1 1 所示的的框架来描述。 图1 1 机器学习的一般框架 y y 对训练样本进行学习的模型可以包括三个部分，分别为：数据发生器( g ) ， 从固定但未知的概率分布函数p 中产生随机样本；训练器( s ) ，对于每一个 输入矢量工，根据条件概率分布函数砌来返回一个值y ；学习机器( l m ) ， 实现一定的函数集触，口以，其中1 是函数的广义参数集合。 机器学习就是从给定的函数集，【五，选择处能够最好地逼近训练器响应的 函数，其目的可以形式化地表示为：根据，个独立同分布的观测样本，在一组 函数 厂回 中求一个最优函数触，a o ) 对训练器的响应进行估计，使期望风险r ( 最小： r ( 口) = l 弘，( 五a ) d p ( x ，y ) ( 1 1 ) 其中m ，力是未知的，对于三眦船，a ) 】不同类型的机器学习问题有不同形式的损 失函数。 1 1 2 机器学习的两个主要学习问题 机器学习涉及到的两个主要学习问题分别是模式识别和回归函数估计。 对于模式识别问题，令监控器输出y 只取两类情况尸 o ，1 ) ，这时的预测函 数称作判别函数。考虑下面的损失函数： 地m 咖 o 矿i f 多主麓暑 c - 2 ， 此时期望风险( 1 1 ) 就是分类误差的概率。因此，模式识别问题就成为：在概 率分布p ( 五力未知而数据已知的条件下，寻找一个最小化分类误差的函数。 对于回归函数估计问题，监控器输出y 为实数值，令俺，a 以是实函数 浙江大学博士学位论文 集合，其中包含回归函数 厂似口。) _ y d p ( y i 力。 ( 1 3 ) 如果，k 厶，那么定义损失函数 上o ，们) = ( ) ，一f c x , w ) ) 2 。 ( 1 4 ) 因此，回归函数估计问题就成为：在概率分布尸阮力未知而数据已知的条 件下，寻找一个最小化风险泛函( 1 1 ) 的问题。 1 1 3 机器学习的经验风险最小化原则 对于未知的概率分布p ( x ，y ) 最小化风险函数式( 1 1 ) ，而样本信息却有限可 用，这导致( 1 1 ) 式定义的期望风险是无法直接计算和最小化。因此，传统的 学习方法用经验风险泛函r 。( 回替换式( 1 1 ) 定义的期望风险 1i r 。( 口) = 三，厂“，口) ) ， ( 1 5 ) i = 1 即所谓的经验风险最小化( e r m ) 准则。e r m 原则具有一般性，许多传统的方 法，如最小二乘方法、最大似然法都符合e r m 原则。对分类问题的损失函数( 1 2 ) 式，经验风险就是训练样本错误率；对于回归估计问题的损失函数( 1 4 ) 式， 经验风险最小化准则就是最小二乘方法。 从期望风险最小化到经验风险最小化是一个基于直观的做法，因此存在学 习的一致性问题： ( 1 ) r 唧( 仅) 和r ( a ) 都是a 的函数，当样本无穷大时r 。 ) 将在概率意义上趋 近于瞰，不能保证r 。d 的最小值r 删( 锄) 能够趋近于r ( 的最小值 r ( 蛳) ； ( 2 ) 即使上述条件在样本无穷大时得到保证，也无法认定在这些条件下， 得到的经验风险最小化方法在样本数有限时仍能得到好的结果。 1 1 4 机器学习的推广能力 最初，人们总是把注意力放在如何使j ( 最小化，但不久就发现训练误 差小并不能导致学习具有好的预测效果，过小的训练误差反而导致推广能力下 降，这就是训练神经网络经常碰到的过学习问题。研究过学习现象，发现这里 既有学习样本不充分的因素，也有学习机器不合理的因素。主要是试图用一个 十分复杂的模型去拟合有限的样本，从而导致了推广能力的丧失，因此经验风 险最小化原则会导致过学习现象。 人们将机器学习对未来输出进行正确预测的能力称为推广性( 边肇祺等， 4 第章绪论 2 0 0 0 ) ，因此机器学习需要同时最小化经验风险和推广性。传统方法的选择学习 模型及算法也是一个调整推广性的过程，由于缺乏理论指导，选择比较适合的 模型只能依赖先验知识和经验，造成传统方法对使用者技巧的过分依赖， 这就是有限样本下学习机器的复杂性与推广性之间的矛盾。 1 2 统计学习理论 1 2 1 统计学习理论的发展历史 受神经生理学领域感知器思想的启发，er o s e n b l a t t ( 1 9 5 6 ) 将其作为一个 学习机器模型，并以计算机程序的形式验证了该模型的推广性，标志着学习过 程的研究进入数学方法的时代。为了从范围较宽的集合中估计概率密度，必须 采用某种新的推理方法，t i k h o n o v ( 1 9 6 3 ) 提出关于解决不适定问题的正则化 技术。随后c h a i t i n ( 1 9 6 6 ) 提出算法复杂度的理论，开创了推理问题的信息论 方法。针对指示函数集，1 9 6 8 年v a p n i k 和c h e r v o n e n k i s 提出统计学习的核心概 念_ v c 熵和v c 维，引申这些概念v a p n i k 提出了泛函空间的大数定理，将 大数定理与学习过程的联系在一起，得到了关于收敛速度的非渐进界的主要结 论。1 9 7 4 年，v a p n i k 与c h e r v o n e n k i s 提出结构风险最小化归纳原则，从而完成 了模式识别的学习理论。总结非参数问题方面的研究理论，v a p n i k 与s t e f a n y u k ( 1 9 7 8 ) 又将算法建立在解决不适定问题的标准做法上，提出了解决此类问题 的一般途径，从而奠定了非参数统计学的基础，v a p n i k 等人的研究初步解决了 机器学习的两个难题：学习过程收敛速度的界和控制学习过程的推广能力。 上述研究都处于统计学习的理论探索阶段，一直没有得到充分的重视。直 到9 0 年代中期v a p n i k 提出支持向量机后，统计学习理论才开始受到重视，有 限样本下的学习机器理论研究逐渐成熟起来，形成了较完善的统计学理论 ( s t a t i s t i c a ll e a r n i n gt h e o r y ，s l t ) 。与传统统计学相比，统计学理论的推理规 则不仅考虑了收敛的渐进性要求，而且追求在有限样本下得到最优结果。 1 2 2 统计学习理论的核心内容 统计学习理论为提高学习的推广能力，在v c 维( v a p n i kc h e r o v n e n k i s ) 的 理论基础上，提出结构风险最小化准则，因此与此相关的一个核心概念是v c 维。 v c 维 为了研究学习过程的一致性收敛速度和推广性，统计学习理论提出衡量函 数集的v c 维指标。在模式识别方法中，v c 维的直观定义是：对于一个指示函 浙江大学博士学位论文 5 数集，如果存在h 个样本能够被函数集里的函数按照所有可能的2 6 种形式分开， 则称函数集能够把h 个样本打散；函数集的v c 维就是能够打散的最大样本数目 | j l 。如果对任意的样本数，总有函数能打散它们，则函数集的v c 维就是无穷大。 有界实值函数的v c 维可以通过使用阈值将函数转化成指示函数来定义。 v c 维是统计学习理论的核心概念，它反映了函数集的学习能力，是函数集 学习性能的最好描述指标。一般而言，v c 维越大，学习机器的学习能力就越复 杂。但遗憾的是，目前还没有关于计算任意函数集的v c 维的通用方法，只有 对一些特殊函数集的v c 维可以准确知道，例如p 维实数空间中线性分类器和 线性实函数的v c 维是n + l ，而对于一些比较复杂的学习机器( 如神经网络) ， 其v c 维除了与函数集的选择有关外，通常也受学习算法等的影响。因此要确 定其v c 维将更加困难。对于给定的学习函数集，如何用理论或实验的方法计 算其v c 维是当前统计学习理论研究中有待解决的一个问题。 推广性的界 推广能力是指学习机不仅对训练样本有良好的分类能力，而且对于新的识 别数据分类其正确率也很高，即学习机的实际风险和经验风险都小。因此，对 于各种类型的函数集，统计学习理论系统地研究了经验风险和实际风险之间的 关系，也即推广性的界( 张学工，2 0 0 0 ) 。它是分析学习机器的性能和发展新的 学习算法的重要基础。根据统计学习理论中关于函数集推广性界的结论，对于 分类暑够实际风险r ( 厂) 和经验风险r 。，矿) 之间以至少以概率l 一叩( 矿o ) 满足 如下关系式( 张学工，2 0 0 0 ，vn v a p n i k ，1 9 9 8 ) ： r ( a ) ) + h ( 1 n ( 2 l h ) + _ 1 ) - l n ( q 4 ) ， ( 1 6 ) l 1 其中h 为v c 维，为样本数。从结论可以看出学习机器的实际风险由两部分组 成：训练样本的经验风险和置信范围，它不仅同置信水平l 一珂有关，而且与学 习机器的v c 维和训练样本数有关。可以把( 1 6 ) 简写为： r ( 口) r 一( 口) + 妒( j i t ) ( 1 7 ) 从( 1 7 ) 式可以看出，在训练样本有限的情况下，学习机器的v c 维越高， 则置信范围就越大，导致实际风险与经验风险之间的差就越大。因此在设计学 习机器时，不但要使学习机器的经验风险最小，还要使v c 维尽量小，以缩小 置