（控制科学与工程专业论文）支持向量机算法参数选择及其在电站锅炉系统中的应用研究.pdf

摘要 作为一种新的机器学习方法，支持向量机算法建立在严谨的统计学基础 上，在模式识别和函数回归方面都有不俗的表现。支持向量机算法从上个世 纪9 0 年代初提出到现在短短十多年的时间得到了长足的发展，并继续得到广 大研究者的关注和参与。本文在对统计学习理论和支持向量机算法进行简要 分析和回顾的基础上，针对支持向量算法的参数选择问题进行了研究与探讨。 支持向量算法虽然有统计学习理论作为理论基础，其泛化能力在理论上有界， 但理论上误差的界太过宽松，实际应用过程中算法的性能依赖于算法参数的 选择。在对算法分析研究的基础上，对支持向量机算法在电站锅炉系统中的 应用进行了研究，着重以某电厂3 0 0 m w 机组锅炉再热汽温建模为例进行了分 析与讨论。 本文主要包括以下几方面内容： 1 提出了一种等距支持向量分类器( e d s v c ) 算法。本文从最优分类超平面的 几何意义入手，分析了最优超平面的几何意义，提出了一种等距支持向量 分类器( e d s v c ) 算法。e d s v c 本质上与支持向量机算法相同，同样具有理论 上的一系列性质。在算法构造过程中，最优超平面的构造是基于一系列局 部最优超平面，综合一系列边界点对来构造全局最优分类超平面。这些边 界点与支持向量算法中的支持向量对应，因此e d s v c 也具有s v m 的稀疏性。 同时，由于最优超平面是通过一系列局部最优分类超平面来实现的，算法 具有增量学习的内在本质，适合于在线学习机的构造。 2 采用基于格雷码的遗传算法对支持向量机算法的参数选择问题进行了研 究，将遗传算法与支持向量机相结合形成一个g a s v m 算法。在两个性质 不同的多类分类数据集上进行了测试，结果表明该方法能够在更大的参数 空间内进行有效搜索，与传统的网格式穷尽搜索相比更有优势。 3 提出了基于正交设计方法的支持向量机算法参数选择方法。统计实验设计 是工农业以及科学试验中常用的方案设计方法，本文将正交设计的方法与 支持向量机算法相结合，对支持向量机算法参数进行优化选择。将支持向 量机算法的一次训练作为一个数值试验，采用正交设计方法进行试验方案 的设计和试验结果的分析，分析不同参数对算法性能的影响程度，进而得 到最终的支持向量学习机。 4 提出了一种支持向量机算法性能的智能多目标分析方法m o p s o - s v m 。作为 分类器或回归器的支持向量算法，其分类精度和回归准确度固然重要，但 作为算法性能的另外一个度量，算法的速度也是实际应用中需要考虑的问 题。本文从多目标规划的角度 j 发，分析了算法参数对算法性能两个方面 的影响情况。旨在寻找算法参数与算法性能之间的内在关系，以及算法性 能的两个往往相瓦矛盾的方面之间的联系，从而为最终找到使得算法综合 性能符合现实需要的参数提供方、弦和依据。采用粒子群优化算法求得支持 向量机算法性能多日标优化问题的p a r e t o 最优解集，在具体应用时根据 其它现场信息从p a r e t o 解集中选择一个晟适合当时具体情况的参数组合 进行训练和学习。 5 在对支持向量算法分析的基础上，采用支持向量同归算法对电站锅炉再热 汽温进行了建模研究。针对四角切圆燃烧的大型燃煤电站锅炉容易产生汽 温偏差的问题，用支持向量回归算法对现场运行数据进行分析，建立基j 一 现场数据的模犁，分析各操作变量与蒸汽参数之间的内在关系，以在数据 模型的基础上进行操作参数优化，提高机组运行的安全性、稳定性和经济 性。本文以再热汽温异常问题为例进行了回归建模分析，该方法同样适用 于电站锅炉的其它环节建模与分析，进一步可以结合锅炉各子系统的机理 和经验模型对整个系统进行优化分析。基于这种经验数据模型，可以对电 站锅炉大量的运行数据进行定期分析，根据分析结果适时调整机组运行参 数，使机组运行状态维持在设计参数附近，保证机组运行的安全性和经济 性。对于防止由于事故造成的计划外停机自着重要意义。 关键词统计学习理论( s l t ) ，支持向量机( s v m ) ，等距支持向量分类器 ( e i ) s v c ) ，参数选择，多目标优化。电站锅炉，再热汽温 a b s t r a c t a san e wm a c h i n el e a r n i n gm e t h o d ，s u p p o r tv e c t o rm a c h i n e ( s v m ) i sf o u n d e do n t h es t a t i s t i c a ll e a r n i n gt h e o r y ( s l t ) s v mh a sg o o dp e r f o r m a n c eb o t ho np a r e m r e c o g n i t i o na n dr e g r e s s i o np r o b l e m s i tw a sa n di sb e i n go n ef o c u si nt h ef i e l do f m a c h i n el e a r n i n gs i n c ei t se m e r g e n c ei n1 9 9 2 s v mw a sa p p l i e db r o a d l yi nm a n y f i e l d s ，s u c ha sp a r e mc l a s s i f i c a t i o n ，r e g r e s s i o n ，b i o i n f o r m a f i c s ，f i n a n c e ，e t c b a s e do nt h er e v i e wo fs l ta n ds v mh i s t o r y , w ef o c u s e do nt h ep a r a m e t e r s e l e c t i o no fs v mi nt h i sw o r k a l t h o u g hh a v i n gs l ta st h e o r e t i c a lf o u n d a t i o n ，t h e p e r f o r m a n c e o fs v md o e s d e p e n d o nt h ec o n c r e t e p a r a m e t e r sd u r i n g t h e i m p l e m e n t a t i o n s b e s i d e sf o c u s i n go nt h ep a r a m e t e rs e l e c t i o n ，w ea l s os t u d i e dt h e a p p l i c a t i o n so fs v m i nt h ep o w e r p l a n tb o i l e ru n i t t h em a i nw o r ko f t h i sd i s s e r t a t i o n i n c l u d e st h ef o l l o w i n g ： 1 b a s e do nt h et h e o r ya n di m p l e m e n t a t i o no fs v m ，t h eg e o m e t r yc h a r a c t e r i s t i c so f o p t i m a ls e p a r a t i n gh y p e r p l a n ew a sa n a l y z e da n dan e wm e t h o dn a m e de d s v c ( e q u a ld i s t a n c es u p p o r tv e c t o rc l a s s i f i e r ) w a sp r e s e n t e dt o f i n dt h eo p t i m a l s e p a r a t i n gh y p e r p l a n e w h i c hi sk e yt os v mb u i l d i n g 1 1 1 em e t h o ds e a r c h e s m a r g i ns a m p l ep a i r sl o c a l l yb a s e do i 3 e q u a ld i s t a n c ec r i t e r i af i r s ta n dt h e nu p d a t e s t h es e l e c t e dm a r g i ng l o b a l l y 1 1 l ef i n a lc l a s s i f i e rw a sb u i l to nt h ef i n a ls e l e c t e d m a r g i ns a m p l ep a i r s ，w h i c hi sc o r r e s p o n d i n gt ot h es u p p o r tv e c t o ro fs t a n d a r d s v m t h et h e o r yg r o u n do fe d s v ci st h es a m ea ss v mi nn a t u r e s oi ta l s oh a s t h ec h a r a c t e r i s t i c so fs v m b e c a u s et h eo p t i m a ls e p a r a t i n gh y p e r p l a n ei sb u i l to n l o c a ls a m p l ep a i r s ，e d s v ch a st h ec h a r a c t e r i s t i c so fi n c r e m e n t a ll e a r n i n gi n n a t u r e ，w h i c hm a k e si tm o r es u i t a b l ef o ro n l i n el e a r n i n g 2 am e t h o db a s e do ng e n e t i ca l g o r i t h m ( g a ) w i t hg r a yc o d i n gw a si n t e g r a t e di n t o t h et r a i n i n go fs v mf o rp a r a m e t e rs e l e c t i o n ，t h em e t h o dw a sc a l l e dg a - s v m i t w a st e s t e do nt w om u c hd i f f e r e n tm u l t i c l a s sd a t a s e t s 1 1 1 er e s u l t ss h o wt h a t g a s v mc a ng e th i g h e rc l a s s i f i c a t i o np r e c i s i o nc o m p a r e dw i t ht h eg r i ds e a r c h m e t h o d 3 i n s p i r e db yt h es t a t i s t i c a le x p e r i m e n t a ld e s i g nm e t h o di ni n d u s t r i a la n ds c i e n t i f i c e x p e r i m e n t s ，am e t h o db a s e do no r t h o g o n a le x p e r i m e n t a ld e s i g n ( o e d ) w a su s e d i nt h es v mt r a i n i n gp r o c e s sf o rp a r a m e t e rs e l e c t i o n t oi m p r o v et h ep a r a m e t e r s e l e c t i o ne f f i c i e n c y , o e dm e t h o dw a su s e df o rt h en u m e r i c a ls i m u l a t i o n e x p e r i m e n t st oa n a l y s et h ee f f e c to fe v e r yf a c t o rh e r e e v e r yt i m es v mt r a i n i n gi s t a k e na sa ne x p e r i m e n t s v mw a st r a i n e da c c o r d i n gt ot h ee x p e r i m e n ts c h e m e b a s e do no e d t h ee x p e r i m e n t sr e s u l t sw e r ea n a l y z e dt of i n do p t i m a lc o n d i t i o n s d u r i n gc u r r e n tt u me x p e r i m e n t sa f t e rt h ew h o l eo e d s c h e m ew a si m p l e m e n t e d i f t h eo p t i m a lc o n d i t i o n so b t a i n e dd u r i n gc u r r e n tt u r nc a nn o tm e e tt h ep r e c i s i o no r 1 v 浙江大学博士学位论文 o t h e rs t o p p i n gc r i t e r i a ，t h en e x tt u r ne x p e r i m e n t sw a si m p l e m e n t e da c c o r d i n gt o n e wo e ds c h e m e t h i sm e t h o dw a st e s t e do ns e v e r a ld a t a s e t sc o m p a r e dw i t h o t h e rm e t h o d s t h er e s u l t ss h o wt h a to e dc a ni m p r o v et h ep e r f o r m a n c ef o rs v m c l a s s i f i c a t i o n 4 t oe v a l u a t es v mn q o r ec o m p r e h e n s i v e l y ，t h ei d e ao fm u l t i o b j e c to p t i m i z a t i o n ( m o o ) w a su s e dt oa n a l y s et h ep e r f o r m a n c eo fs v m 、i t hd i f f e r e n tp a r a m e t e r s ， i n c l u d i n gt h ec l a s s i f i c a t i o np r e c i s i o na n dt h ec o s tt i m e am e t h o db a s e do n m u l t i o b j e c tp a r t i c l es w a l t no p t i m i z a t i o n ( m o p s o ) w a sp r e s e n t e dt oa n a l y s et h e p e r f o r m a n c eo fs v m ，w h i c h i sc a l l e dm o p s o s v m t a k ec l a s s i f i c a t i o np r e c i s i o n a n dt i m ec o s ta st w oo b j e c t st ob eo p t i m i z e ds i m u l t a n e o u s l yi n t h i sw o r k t h e r e s u l t so fm o op r o b l e m sa r en o to n l yo n eo p t i m a ls o l u t i o n b u ta no p t i m a l s o l u t i o ns e tn a m e dp a r e t oo p t i m a ls o l u t i o ns e tf p o s s ) w h e nu s e di ns o m e p r a c t i c a lp r o b l e m s ，o n ec a ns e l e c tas o l u t i o nf r o mp o s sc o m b i n e dw i t hs o m e o t h e rh i g e rl e v e li n f o r m a t i o nr e l a t i n gt ot h ep r o b l e mw i t h o u tr e t r a i n i n gs v m s e v e r a li m p l e m e n t a t i o n so nc l a s s i f i c a t i o nd a t a s e t ss h o wt h ep o s so fp a r a m e t e r s c o m b i n a t i o n s 5 s u p p o r t v e c t o rr e g r e s s i o n ( s v r ) w a su s e dt om o d e lt h er e h e a t e rs t e a m t e m p e r a t u r e ( r s no ft w o3 0 0 m w b o i l e ru n i t si np o w e rs t a t i o n t h ef o s s i lf u e l p o w e rp l a n t sm a k et h em a j o rp a r to fe l e c t r i cp o w e r i nc h i n a ，h o wt oi m p r o v et h e e f f i c i e n c yo fe l e c t r i cg e n e r a t i n gi sak e yp r o b l e m ，e s p e c i a l l yi nn o w a d a y sc h i n a s v mw a su s e di nt h ep o w e rp l a n tt oi m p r o v et h es t a b i l i t y , e c o n o m ya n ds e c u r i t y o fo p e r a t i n g a sa ne x a m p l e ，s v rm o d e lw a sb u i l tb a s e do nt h eo p e m f i n gd a t a f r o md c s ( d i s t r i b u t e dc o n t r o ls y s t e m ) e q u i p m e n t st os o l v et h ep r o b l e mm e t d u r i n gt h et e s to p e r a t i n g 1 1 1 ep r o b l e mi sr h ta b n o r m a l ，t h a ti s ，t h er h t d i f f e r e n c eb e t w e e nt w os i d e si sb e y o n dt h el i m i ta n dt h eo v e r m lr h ti su n d e rt h e s t a n d a r dr e f e r e n e ev a l u e w h i l es o m et u b ew a l lo fr e h e a t e ri sa b o v et h eu p p e r b o u n do fs t a n d a r d ，w h i c hi sd a n g e r o u sa n dl i k e l yt or e s u l ti nt u b ef a i l u r e s v r m o d e lc a nf i n dt h ep o t e n t i a lr e l a t i o n sb e t w e e nr h ta n do p e r a t i n gp a r a m e t e r s ， w h i c hi su s e f u lf o rf u r t h e ro p e r a t i n go p t i m i z a t i o n b e s i d e st h em o d e l i n go fr s t , s v m ( s v r ) c a nb ea p p l i e di nm a n yo t h e rs u b s y s t e m si np o w e rp l a n tb o i l e ru n i t k e y w o r d s s t a t i s t i c a ll e a r n i n gt h e o r y ( s l t ) ，s u p p o r tv e c t o rm a c h i n e ( s v m ) ，e q u a l d i s t a n c es u p p o av e c t o rc l a s s i f i e r ( e d s v c ) ，p a r a m e t e rs e l e c t i o n ，m u l t i 。o b j e c t o p t i m i z a t i o n ( m o o ) ，p o w e rp l a n tb o i l e r , r e h e a ts t e a mt e m p e r a t u r e ( r s t ) 图表目录 1 图列表 图1 ，1 机器学习系统简图2 图1 - 2 二维空间v c 维示意图一6 图1 | 3 函数集容量( 结构复杂度) 示意图8 图t 4 结构风险最小化示意图，9 图1 5 支持向量机结构框图1 0 图1 6 最优分类超平面示意图1 1 图1 7 全文组织结构图1 7 图2 1 支持向量机算法构造示意图1 9 图2 2 分离超平面示意图2 0 图2 t 3 二分类线性不可分情况2 2 图2 4e d s v c 算法样本对的选择示意图2 8 图2 5e d s v c 算法样本对选择处理示意图2 9 图2 6e d s v c 算法流程图3 i 图2 7 原问题与对偶问题寻优过程示意图3 2 图2 8s v m 优化问题的简化最优性条件示意图3 4 图2 9o s u n a 分解算法流程简图3 6 图2 ，1 0o s t m a 分解算法起作月子集更薪示意图3 7 图2 1 1s m o 算法路程示意图3 8 图2 1 2s m o 子问题的优化过程示意图3 9 图3 1w a t e r t r e a t m e n t 仿真结果5 2 图3 2w i n e 仿真结果5 3 图4 1 一般试验流程图5 5 图4 2 试验设计流程图5 6 图4 3 因子交互作用示意图5 7 图4 4o e d s v m 算法流程示意图6 2 图4 5 数据集b a n a n a 上o e d s v m 参数优化响应盛面等高线6 4 图4 6 数据集i m a g e 上o e d s v m 参数优化响应曲面等高线6 4 图4 7 数据集d i a b e t e s 上o e d s v m 参数优化响应曲面等高线6 5 图4 1 8 数据集r i n g n o r m 上o e d s v m 参数优化响应曲面等高线6 5 图4 ，9 数据集s p l i c e 上o e d s v m 参数优化响应曲面等高线6 5 图4 ，1 0 数据集t r e elo e d s v m 参数优化响应曲面等高线6 6 图4 1 l 数据集t i t a n i c 上0 e d s v m 参数优化响应曲面等高线6 6 图4 1 2 数据集w a v e f o r m 上o e d s v m 参数优化响应曲面等高线6 6 图5 1s v m 算法性能多目标p a r e t o 解集示意图，7 0 图5 2b o i d 群体模型中个体行为模式示意图7 l 图5 3m o p s o 流程图7 4 图5 4p a r e t o 最优解集的求解流程图，7 5 图5 5 数据集b a n a n a 上的m o p s o 优化结果7 6 图5 6 数据集b a n a n a 上的p a r e t o 局部放大图，7 6 图5 7 数据集d i a b e t e s 上的m o p s o 优化结果7 7 1 v 浙江大学博上学位论文 图5 8 数据集i m a g e 上的m o p s o 优化结果7 8 图5 9 数据集i m a g e 上的p a m t o 局部放大图7 8 图5 1 0 数据集r i n g n o r m 上的m o - p s o 优化结果。8 0 图5 1 1 数据集t i t a n i c k 的m o p s o 优化结果8 0 图5 1 2 数据集t r e e 上的m o p s o 优化结果8 l 图5 1 3 数据集t w o n o r m 上的m o p s o 优化结果8 2 图5 1 4 数据集w a v e f o r m 上的m o p s o 优化结果一8 3 图5 1 5 数据集a l a 上的m o p s o 优化结果8 3 图5 1 6 数据集a 2 a 上的m o p s o 优化结果8 4 图6 1 火力发电厂能量转换示意图8 8 图6 2 卡诺循环示意图8 9 图6 1 3 水蒸汽动力循环示意图8 9 图6 4 蒸汽再热动力循环示意图9 0 图6 5 电站锅炉汽水循环系统示意图9 1 图6 6 四角切圆燃烧煤粉炉燃烧器布置示意图9 5 图6 7 各主要变量的变化情况9 8 图6 。85 群机组再热汽温回归曲线( 曲。1 0 0 图6 95 # 机组再热汽温回归曲线( b ) 1 0 0 图6 1 05 舞机组再热汽温回归曲线( c ) 1 0 l 图6 115 撂机组再热汽温回归曲线( d ) 1 0 1 图6 1 26 # 机组再热汽温回归曲线f a ) 1 0 l 图6 1 36 机组再热汽温回归曲线( b ) 1 0 2 图6 1 46 撑机组再热汽温回归曲线( c ) 1 0 2 图6 1 56 拌机组再热汽温回归曲线( d ) 1 0 2 l i 表格目录 表3 1g a s v m 与s v m 性能比较5 2 表4 1o e d s v m 正交数值试验表，6 2 表4 2 不同参数选择方法优化结果所得模型比较6 3 表5 1 数据集b a n a n a 上的p a r e t o 解7 5 表5 2 数据集d i a b e t e s 上的p a r e t o 解7 7 表5 3 数据集i m a g e 上的p a r e t o 解7 9 表5 4 数据集p d n g n o r m 上的p a r e t o 解7 9 表5 5 数据集t r e e 上的p a r e t o 解一81 表5 6 数据集t w o n o r m 上的p a r e t o 解8 2 表5 7 数据集a l a 上的p a r e t o 解8 4 表5 8 数据集a 2 a 上的p a r e t o 解8 5 表6 1 再热汽温建模所用数据示例9 7 表6 2 不同s v r 参数时的再热汽温模型预测结果9 9 第1 章绪论 本章简要回顾了机器学习的发展历程，介绍了基于经验风险最小化原则的传 统机器学习方法。对结构风险最小化原则做了说明与解释，并进一步阐明了能够 实现结构风险最小化准则的统计学习理论及其实现算法。支持向量机作为结构风 险最小化准则和统计学习理论的实践者，具有良好的性能，本章对支持向量机算 法原理做了说明。在回顾历史与现状的基础上，对本文工作做一简单介绍。 1 1 机器学习简介 学习跟智能一样，是一个很宽泛的术语，很难进行确切的定义。牛津字典对 学习的解释是：通过研究( s t u d y ) 、教育( i n s t r u c t i o n ) 或经验( e x p e r i e n c e ) 获得知 识( k n o w l e d g e ) 或者技能( s k i l l ) ；通过经验改变行为。m m i t c h e l l l l j 在( ( m a c h i n e l e a r n i n g ) ) 一书中对学习问题的定义是：对于某类任务t 和性能度量p ，如果一 个计算机程序在t 上以p 衡量的性能随着经验e 而自我完善，那么称这个计算 机程序在从经验e 进行学习。生物学、医学和生理学研究者从生理、生物功能 的角度研究生物界以及人类的学习问题，这里则从计算机算法的角度来阐述学习 问题，即所谓机器学习。二者之间有着密切的联系，相互交叉相互借鉴，最近国 际上新兴的脑机交互( b r a i n - c o m p u t e ri n t e r f a c e ，b c i ) 就是从大脑中直接提取信号 并经过计算机处理加以应用。 机器学习的出发点是模拟生物的学习过程，从生物角度对学习的研究结果直 接影响机器学习的基本框架。机器学习方法的构造是在对生物学习机理进行简化 的基础上用计算的方法进行再现。同样，机器学习领域的研究直观地阐释了生物 学习的相应机理。很多研究机构同时进行生物和算法方面的研究，旨在从机理上 发现生物的学习过程并以现有的理论、方法进行模拟实现，如m i t 的研究中心 c b c l ( c e n t e rf o rb i o l o g i c a l & c o m p u t a t i o n a ll e a r n i n g ) 就是在这种背景下成立的 交叉研究中心。无论是在生物体本身还是人工模拟的智能中，学习都是智能问题 最为核心的部分，是理解大脑如何工作以及进一步构造人工智能机器的关键所 在。学习领域的研究者来自各个学科，包括了数学、工程以及生物和神经科学领 域的学者。 t o m a s op o g g i o 和s t e v es m a l e t 2 j 系统阐述了机器学习的数学基础，t o m a s o p o g g i o 等人【3 j 关于学习理论预测能力一般性条件的论述发表在n a t u r e 上，论述了 从样本进行学习的理论基础，s e e g e r 4 研究了机器学习中的高斯过程，b o u s q u e t 5 1 研究了学习算法的稳定性和泛化能力，所做的工作具有里程碑的意义，e l i s s e e f f 等【6 1 研究了随机学习算法的稳定性，将确定性算法的稳定性理论推广到随机算法 2 浙江大学博士学位论文 的稳定性分析中，b r a f m a n 7 引入了有效学习均衡( e f f i c i e n tl e a r n i n ge q u i l i b r i u m e l e ) 的概念对多智能体学习系统( m u l t i a g e n ts y s t e m ，m a s ) 在非合作环境下的学 习问题进行了研究，m i t c h e l l 在其著作( m a c h i n e l e a r n i n g ) ) 一书中系统阐述了常 见的机器学习算法n j n i l s s o n 在( a t r i f i c i a li n t e l l i g e n c e ：a n e ws y n t h e s i s 【8 】 和( i n t r o d u c t i o nt om a c h i n el e a r n i n g ) ) 剀中也对机器学习算法进行了介绍，d u d a 1 0 1 在其经典著作( ( p a t t e r nc l a s s i f i c a t i o n ) ) 中从模式分类的角度阐述了各种学习算法， t a y l o r 和c r i s t i a n i n i 0 1 在其著作( k e m e lm e t h o d sf o rp a t t e r n a n a l y s i s ) ) 一书中着重 对基于核函数技术的模式分析方法以及核函数自身特性、再生核空间等做了系统 阐述，h a s t i e 等人【l2 j 对统计学习及其在数据挖掘、推理和预测中的应用从多个方 面进行系统地总结，从线性回归、分类到神经网络、支持向量机、正则化技术、 核函数方法、最近邻方法、主成分分析、独立成分分析等新兴方法都做了介绍， 对模型评估与选择、模型推理等也做了介绍。 1 1 1 机器学习系统基本框架 只要一个学习机通过改变其结构、程序甚至输入数据能够提高预期性能，我 们就说，该机器进行了学习。更具体地说，机器学习一般是指与人工智能相关的 系统变化，包括识别、诊断、规划、预测以及机器人工程等。学习机的改变可以 是已有系统的改进也可以是新系统的构建。一个典型的机器学习系统框架如图 1 1 所示。系统通过传感器接收信号，然后感知器进行感知，对信号进行判别， 图1 1 机器学习系统简图 在此基础上进行建模，系统根据给定的目标与模型进行信息交换，不断进行信息 更新，在模型基础上进行规划以及推理计算，进而进行动作计算，即在已有信息 以及设定目标的情况下求得最贴近设定目标的动作，最后以得到的动作指令作为 系统输出并传送到执行系统。 绪论 3 机器学习是一个多学科交叉的研究领域，统计学是多数机器学习方法进行理 论分析的有力工具。统计学存在的一个问题是如何更好地根据未知概率分布的样 本来决定符合该分布的未知样本。其中一个相关的问题就是给定一些点及这些点 处的函数值，估计一个新的未知点函数值的问题。统计学中的这类问题也可以看 作机器学习中的一种问题，因为决策和规则估计是基于从问题环境中采集的样本 进行的。构造一个学习机包括以下主要步骤：选择合适的训练方式；选择适 当的目标函数；选择目标函数的逼近算法。每一个环节都对最终的学习算法性 能起重要作用，针对每个环节都有很多具体方法，其中很多属于人工智能方法。 1 - 1 2 机器学习常用算法简介 机器学习算法种类繁多，“义的机器学习算法包含了几乎所有智能算法和 一些包含自适应特性的算法，甚至包含了在线回归、分类等相关算法。常用的机 器学习算法有人工神经网络、遗传算法、演化算法、模糊算法、集群智能算法( 粒 子群、蚁群、鱼群等) 、免疫算法、禁忌搜索、退火算法等，以及本文所主要关 注的统计学习算法支持向量机。 有权值的非线性元素作为生物神经的简单模型得到了深入研究1 1 3 。1 7 】，基于 该模型构造的神经网络算法取得了很大进展并得到了实际应用。神经网络在人工 智能领域属于连接主义学派，源于神经生理学领域中对大脑功能模型的描述， m c c u l l o n 和p i t t s b 】早在1 9 4 3 年就提出了神经元生物学模型，h e b b 学习规则是 神经网络的一个基本规则 1 3 ，r o s e n b l a t t l l 6 1 提出了感知器模型，神经网络算法发 展过程中出现了一段停滞，直到1 9 8 6 年后向传播( b a c k p r o p a g a t i o n ，b p ) 方法的出 现，神经网络算法才又重新引起重视并得到广泛应用。关于连接主义算法的发展 历史及其哲学内涵，可参见s t e p h e nf w a l k e r 的文章i j 。 遗传算法是对模拟自然界生物进化过程，采取优胜劣汰的进化准则进行优化 学习，在第3 章将会进一步介绍。演化算法、分子计算等智能算法的介绍可以参 考g r a m1 3 等人的著作【1 9 1 。粒子群算法( p a r t i c l es w a r l t lo p t i m i z a t i o n ，p s o ) 是一种模 拟群体行为的一种仿生算法，蚁群算法则是模拟蚂蚁群体的觅食行为，鱼群算法 【2 0 1 与蚁群算法一样，是模拟鱼在觅食时的群体行为，在本质上与蚁群、粒子群 等算法同属集群智能算法，只是各个算法在具体寻优机制上有所不同。模拟退火 算法则是模拟物质分子运动规律进行优化计算的。 1 2 统计学习理论与经验推理 v a p n i k 于2 0 0 4 年在清华大学所作的讲座中将经验推理分为三个发展阶段。 1 9 7 0 1 9 9 0 为第一阶段，这段时间内主要建立了统计学习理论的基础性工作， 没有引起太大关注；1 9 9 2 2 0 0 4 为第二阶段，1 9 9 2 年最优分离超平面( 支持向 量机算法的原型) 的提出引起了广泛关注2 ”，1 9 9 5 年的一篇论文将最优分离超 4 浙江天学博上学位论文 平面的思想推广到非线性可分的情况，引入核函数变换，明确提出了支持向量 ( s u p p o r tv e c t o r , s v ) 的概念【2 “，基于最大间隔分离超平面的思想构造出支持向 量机算法，并得到了广泛的关注，短短十年的时间，支持向量机算法从提出到各 行各业的学者进行应用研究，出现了前所未有的蓬勃发展。支持向量机算法的方 方面面已经有不少研究者进行了尝试，得到了很好的应用，也取得了不少好的成 果。理论工作者正在探索新的学习机制，试图寻找一种新的、更好的学习方法， 新方法的发展趋势是寻找非归纳性的推理方法，这体现了o c c a m 剃刀原则1 1 j 。 非归纳性的推理方法不受归纳推理的理论限制，而是基于一种全新的理论，可望 摆脱传统统计理论的束缚，但目前还没有发现一个好的学习机理。转导推理作为 一种新的推理方法正在受到关注 2 3 - 2 。 统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y , s l t ) 作为一种新的机器学习方法最 近十年得到了广泛而深入的研究2 2 , 2 7 1 。鉴于自然界以及众多工程实际中的问 题难以用准确的数学模型来描述对象的过程，基于数据的方法越来越受到重视， 具有实际应用价值。数据是描述对象的信息，一个对象的特性能够由其观测数据 表示。涉及到数据问题，就需要知道这些数据统计学意义上的特性。人们能够采 集到的数据是有限的，而很多对象的属性则是连续的，如何利用有限的已有数据 尽可能准确地描述对象是学习理论需要解决的核心问题。 由概率统计中的大数定理可知，无限多的数据才能够描述对象的特性。大 数定理可以描述为当试验次数趋于无穷大时频率一致收敛于其概率1 2 引。统计学 习理论基本思想在上个世纪