（模式识别与智能系统专业论文）支持向量机回归与控制的研究.pdf

摘要 中国科学技术大学博士论文 摘要 传统统计学研究的是假定样本数目趋于无穷大时的渐近理论，现有的机器学 习方法大多是基于这个假设，而统计学习理论研究的是小样本情况下的学习理 论，由于在实际中的样本都是有限的，因而从理论上来说统计学习理论有其优越 性。不仅如此统计学习理论还具有好的推广特性。支持向量机回归是统计学习理 论的重要内容，支持向量机回归具有很好的时间序列建模特性，采用支持向量机 回归进行非线性系统建模和控制的研究是最近两三年以来产生的智能控制的一 个研究领域。这种建模与控制方法不仅模型简单，有完备的理论支持，更重要的 是提供了一种实现复杂的非线性系统的建模与控制的新方法，拓宽了智能控制的 研究领域。 本文在系统地研究了统计学习理论和在线建模与内模控制、预测控制的理论 基础上，提出了一种适合在线建模的支持向量机回归模型，以及支持向量机回归 的内模控制和支持向量机回归预测控制，并对这些建模与控制原理与方法进行了 深入细致地分析和说明。其理论结果被应用在温室环境的控制。具体内容可以概 括为以下几个方面： 一、提出了一种支持向量机回归在线建模的方法 在线建模最重要的一个特征就是实时性，而传统的支持向量机回归训练和模 型输出的计算需要较长的运算时间。本文提出了一种适合在线建模的支持向量机 回归训练算法，在这个算法中采用丢弃条件减少在线学习中不重要的样本，这样 不仅减少了训练的计算量，而且保证了建模的精度和收敛性；用实验说明了这种 算法的有效性，并与传统的支持向量机回归和增量型支持向量机回归算法进行了 比较；采用实时交通流和温室环境温度的在线建模的应用特例说明了该算法在实 际应用的有效性和意义。 二、提出了一种支持向量机回归内模控制方法 利用支持向量机回归具有模型简单和很好的非线性建模特性，以及内模控制 具有的设计简单、调节性能好、鲁棒性强等特点，在分析内模控制国内外研究现 状的基础上，提出了种支持向量机回归的内模控制结构。这种内模控制结构通 过合理地构造输入输出样本，采用支持向量机回归建立系统的正向模型和逆模控 制器：对模型采用离线训练，并采用支持向量机回归在线建模进行模型修正：通 过仿真实验说明了这种内模控制结构对非线性系统具有很好的控制效果，与神经 摘要 中国科学技术大学博：卜论文 网络等其他的非线性内模控制结构相比，这种内模控制结构具有结构简单、避免 了过学习、有完备的理论支持等特点。 三、提出了一种支持向量机回归预测控制的方法 预测控制的滚动优化使其具有较强的鲁棒性和克服不可测干扰特性。在分析 预测控制国内外研究现状的基础上，本文根据支持向量机回归的非线性建模的特 性，提出了一种支持向量机回归预测控制，这种预测控制根据其滚动优化的方式 不同，分为两种预测控制：s v m r l m 预测控制和s v m r g a 预测控制。 s v m r l m 预测控制采用非线性最小二乘优化方法( l e v e n b e r g m a r q u a d t 方法) 进行滚动优化，s v m r g a 预测控制采用g a 进行非线性滚动优化。详细讨论了 s v m r g a 预测控制的工作机理以及解决g a 在实时控制中快速收敛的问题。实 验证明了这两种预测控制都具有很好的非线性控制效果，而且能够很好地抵消不 可测干扰。 四、支持向量机回归控肯4 在温室环境控制中的应用 温室气候是一个非线性、多输入多输出、强耦合、时变、大时延的复杂的动 态环境，从传统控制论的角度来讲是不可控的。为对温室气候进行有效的控制， 本文在分析了温室气候机理模型的基础上，研制了一套基于现场总线的温室控制 系统，并在这个系统中实现了支持向量机回归内模控制进行加热控制的研究，取 得了较好的控制效果：此外本文还提出了一种基于经济效益的支持向量机回归预 测控制的温室环境控制方案，采用仿真模型说明了这种控制方案在温室环境控制 中的有效性。 i l 垒塑! i _ 生旦型兰垫查盔堂堕堡苎； a b s t r a c t t r a d i t i o n a ls t a t i s t i c si sb a s e do n a s s u m p t i o n t h a ts a m p l e sa r ei n f i n i t e ，s oa r em o s t o fc u r r e n tm a c h i n e sl e a r n i n gm e t h o d s h o w e v e rs t a t i s t i c a ll e a r n i n gt h e o r y ( s l t ) i s at h e o r yt h a ts p e c i a l i z e di nm a c h i n e l e a r n i n g w i t hf i n i t es a m p l e s i na d d i t i o n ，s l th a s h i g hg e n e r a l i z a t i o na b i l i t ya sw e l l s u p p o r tv e c t o rm a c h i n e sr e g r e s s i o n ( s v m r ) i s a n i m p o r t a n ta r e ao fs l t , a n di tp o s s e s s e sg o o dc h a r a c t e r i s t i co nm o d e l i n go f t i m e s e q u e n c ee v e n t s b e c a u s eo fi t sa d v a n t a g eo nm o d e l i n go fn o n l i n e a rs y s t e m ， s v m rb e c a m ean e wa n ds t r o n gt o o li n i n t e l l i g e n tc o n t r o lf i e l di nr e c e n ty e a r s s u p p o r t i n gb ym a t h e m a t i c st h e o r y , s v m rn o n l i n e a rm o d e l i n ga n ds v m r n o n l i n e a r c o n t r o lt h e o r yn o to n l yh a sas i m p l em o d e l ，b u ta l s op r o v i d e san e wc o n t r o lt h e o r y w h i c hi ss u i t a b l ef o rc o m p l e xn o n l i n e a rs y s t e m t h i sp a p e rp r e s e n t san o v e lt o o lb a s e do ns v m rw h i c hc a l lb ea p p l i e di no n l i n e m o d e l i n g ，i n t e r n a lm o d e lc o n t r o l ( i m c ) a n dp r e d i c t i v ec o n t r o ls y s t e m t h ep a p e ra l s o d e s c r i b e st h ep r i n c i p l ea n dm e t h o ds y s t e m a t i c a l l yf o rs v m r m o d e l i n ga n dc o n t r 0 1 t h er e s u l to fa p p l i c a t i o nw a ss h o w e da tt h ee n v i r o n m e n tc o n t r o lf o rg r e e n h o u s e w h o l e p a p e ri sd i v i d e di n t of o l l o w i n g f o u r p a r t s ： at h e o r yo fs v m ro n l i n e m o d e l i n g i s i n t r o d u c e d ，i n f i r s t p a r t i n t h e c o n v e n t i o n a ls v m r ，t h e l e a r n i n ga l g o r i t h m m u s tt a k el o n gt i m e ，s oi tc a nn o tb eu s e d i nr e a l - t i m e m o d e l i n g i no r d e r t od e c r e a s e st h en u m b e ro fs a m p l e st r a i n e d ，a n i m p r o v e da l g o r i t h mi ss t u d i e db ye x a m i n i n g i ft h es a m p l e sw a ss a t i s f i e dt h ed e f i n i t i o n c o n d i t i o nt ob ed i s c a r d e d n l ee x p e r i m e n t ss h o wt h a tt h es v m ro n l i n em o d e l i n gh a s g o o da c c u r a c ya n dc o n v e r g e n c e w eh a v ed o n es o m ee x p e r i m e n t st od e m o n s t r a t e t h e v a l i d i t yo f 也es v m rl e a r n i n gm e t h o da n dc o m p a r e d w i t ho t h e rm e t h o d s ，s u c ha st h e c o n v e n t i o n a ll e a r n i n gm e t h o do fs v m ra sw e l la si n c r e m e n tl e a r n i n gm e t h o d t h e n e wm e t h o dh a sb e e ns u c c e s s f u l l y a p p l i e d i nt h et r a f f i cf l o wa n d g r e e n h o u s e e n v i r o n m e n tc o n t r o ls y s t e mf o rt h e i rm o d e l i n ga n dp r e d i c t i o n i ns e c o n dp a r t ，w ep r e s e n ta ni n t e r n a lm o d e lc o n t r o l ( i m c ) m o d e lb a s e do n s v m rw h i c hc o m b i n e dt h es v m r i ss i m p l em o d e la n dg o o dn o n l i n e a rm o d e l i n g p e r f o r m a n c ew i t hi m c ss i m p l ed e s i g n ，g o o dr e g u l a r i z a t i o na n d r o b u s t n e s sp r o p e r t i e s ， t h e p r i n c i p l eo fs v m r b a s e di m ci st h a tw ec o n s t r u c t e das e r i e so fi n p u t o u t p u t s a m p l e sf o rs v m rt r a i n i n gb ya na p p r o p r i a t ew a y ，a n dd e s i g n e dt h es y s t e mm o d e l a n di n v e r s em o d e lu s i n gs v m rf o ri m c t h em e t h o do ft r a i n i n gi so f f - l i n e ，b u t 1 1 1 a b s t r a c i 中国科学技术大学博士论文 m o d i f i e dt h em o d e lo n l i n e t h es i m u l a t i o ns h o w st h a tt h er e s u l to ft h en o n l i n e a r s v m ri m ci ss a t i s f i e da n dt h i sm e t h o dh a sam o r e s i m p l es t r u c t u r ea sw e l la sa v o i d s o v e r f i t t i n g ，c o m p a r e dw i t ho t h e rn o n l i n e a ri m cm e t h o d ，s u c ha sn e u r a ln e t w o r k s am o d e lo f p r e d i c t i v ec o n t r o l ( m p c ) b a s e do ns v m r i sp r e s e n t e di nt h i r dp a r t b yr e c e d i n go p t i m i z a t i o n ，m p ch a sr e j e c t i o nc a p a b i l i t i e sf o ri 1 n k n o w nd i s t u r b a n c e w ep r e s e n tas v m r - m p cm e t h o dw h i c ha c c o r d i n gt os v m r s g o o dn o n l i n e a r m o d e l i n gp e r f o r m a n c e s v m r m p ci sc l a s s i f i e dt w oc l a s s e sb yt h ew a yo fr e c e d i n g o p t i m i z a t i o n ：n a m e ds v m r l mm p c a n ds v m r - g am p c s v m r l mm p cu s e s n o n l i n e a rl e a s t s q u a r e sl e v e n b e r g m a r q u a d t ( l m ) a s m e t h o do f r e c e d i n g o p t i m i z a t i o n a l t e r n a t e l y ，s v m r g am p c u s e sg e n e t i ca l g o r i t h m ( g a ) a sm e t h o do f r e c e d i n go p t i m i z a t i o n t h ep r i n c i p l eo fs v m r g am p c i sd e s c r i b e di nd e t a i l ，a n d s o m ei m p r o v e m e n t sa r em a d ef o rf a s tc o n v e r g e n c ei nr e a l t i m ec o n t r o ls i t u a t i o n t h e d e m o n s t r a t i o ns h o w st h a tr e s u l t so fa b o v et w os v m rm p ca r eg o o d ，a n ds v m r m p ch a sm o r e r e j e c t i o nc a p a c i t i e sf o ru n k n o w n d i s t u r b a n c e f o u r t h ，t h ea p p l i c a t i o nr e s e a r c ho fs v m r i n g r e e n h o u s ee n v i r o n m e n tc o n t r o l s y s t e mi sp r e s e n t e d t h eg r e e n h o u s ee n v i r o n m e n ti s ac o m p l i c a t e dd y n a m i cs y s t e m w i t hn o n l i n e a r , m u l t i - i n p u tm u l t i o u t p u t ，s t r o n gc o u p l i n g ，t i m e v a r y i n g ，l a r g et i m e d e l a yf e a t u r e s t h es y s t e mi s d i f f i c u l tt oc o n t r o la tt h ev i e w p o i n to fc o n v e n t i o n a l c y b e r n e t i c s t oc o n t r o lg r e e n h o u s ec l i m a t ee f f e c t i v e l y , w ed e v e l o p e d ac o n t r o ls y s t e m b a s e do ns v m ri m ca n du s e df i e l d b u sf o ri n t e m a lc o m m u n i c a t i o na n dc o n t r o li n g r e e n h o u s ee n v i r o n m e n t w ea p p l ya b o v em e t h o di nh e a t i n gc o n t r o lr i g h tn o w t h e r e s u l ts h o w sg o o d b e s i d e st h i s w ea l s op r e s e n tam e t h o do fs v m r m p cf o rc o s t e f f e c t i v ec o n t r o l ，a n dt h es i m u l a t i o ns h o w st h a tt h em e t h o di su s e f u l i v 第一章绪论 中国科学技术大学博士学位论文 第一章绪论 1 1 统计学习理论与支持向量机的发展历程 机器学习不仅要从数据中学习得到规律，从得到的规律中较好地解释已知的 实例，而且更重要的是对未来的现象或无法观测的现象做出正确的预测和判断， 也即具有推广能力。传统的统计学研究的主要是渐近理论，即当样本趋向于无穷 多时的统计性质，然而实际问题中的样本数目都是有限的。2 0 世纪7 0 年代产生 的统计学习理论较好地解决了这一问题，它是研究基于有限样本的情况下的机器 学习问题。2 0 世纪9 0 年代，在这一理论框架下产生了支持向量机( s u p p o r t v e c t o r m a c h i n e s 简称s v m ) 这一新的通用机器学习方法。支持向量机从其产生到现在 的这1 0 多年里，无论是其理论和应用都得到了很快的发展，取得了重要的成果， 显示了其优越性。 1 1 1 机器学习与统计学习理论发展的历史 机器学习理论的发展按照文献 v a p n i k ，2 0 0 0 可以分为四个阶段： 第一个阶段为第个学习机器的建立：这一阶段主要是在6 0 年代。其主要 成果是：1 9 5 7 年r o s e n b l a t t 提出了感知器模型，这是第一个学习机器的模型，着 标志着对学习过程进行数学研究的真正开始；1 9 6 2 年n o v i k o f f 证明了关于感知 器的第一个定理，这一定理实际上是学习理论的开始 r o s e n b l a r ，1 9 6 2 ；n o v i k o f f ， 1 9 6 2 】。 第二个阶段是机器学习理论的基础的建立；这一阶段主要是在6 0 年代和7 0 年代，其主要成果是统计学习理论的发展。 1 9 6 0 年s o l o m o n o f f 提出了统计学和信息论中最伟大的思想之一算法复杂度 的思想 s o l o m o n o f f , 1 9 6 0 】； 1 9 6 2 年t i k h n o v 等发现解决不适定问题的正则化理论方法 t i k h n o v , 1 9 6 3 ； i v a n n o v , 1 9 6 2 1 9 5 7 年r o s e n b l a t t ，1 9 6 2 年p a r z e n 等提出了几种密度估计的非参数统计学 方法； 1 9 6 8 年v a p n i k 和c h e r v o n e n k i s 提出了统计学习理论的核心概念v c 熵和v c 维的概念，利用这些概念发现了泛函空间的大数定理，研究了它与学习过程的关 第一章绪论 中国科学技术大学博士学位论文 系，得到了关于收敛速率的非渐近界的主要结论 v a p n i ke ta 1 ，1 9 6 8 ，1 9 7 1 年 给出了这些工作的证明 v a p n i k e ta 1 ，1 9 7 1 】； 1 9 7 4 年v a p n i k 和c h e r v o n e n k i s 提出了结构风险最小化归纳原则理论 v a p n i k e ta 1 ，1 9 7 4 】：1 9 8 2 年，vv a p n i k 进一步提出了具有划时代意义的结构风险最小化 原理，为s v m 的研究奠定了直接的、坚实的理论基础 v a p n i k ，1 9 8 2 1 。 第三阶段是神经网络的建立；这一阶段主要成果是8 0 年代提出来的，1 9 8 6 年，l e c u n 【l e c u n ，1 9 8 6 1 、r u m e l h a r t 等 r u m e l h a r t e ta 1 ，1 9 8 6 独立地提出了后向 传播的神经网络思想。 第四个阶段是神经网络替代方法的建立。这一阶段主要是在9 0 年代。其主 要成果为： 1 神经网络改进方法的研究，例如径向基函数模型的研究 p o w e l l ，1 9 9 2 1 ： 2 支持向量机的出现，1 9 9 2 年，b b o s e r 、i g u y o n 和vv a p n i k 提出了最 优边界分类器，由此形成了s v m 的雏形 b o s e r e ta 1 ，1 9 9 2 】。s v m 的提出被认为 是机器学习的一个重要革新。 1 1 2 支持向量机的发展 支持向量机出现以后，其理论的发展和应用非常快，其主要的成果有： 在b b o s e r 等提出最优边界分类器后，1 9 9 5 年，c o r t e s 和v a p n i k 进一步探讨 了非线性最优边界的分类问题 c o r t e s e ta 1 ，1 9 9 5 。 1 9 9 5 年，v a p n i k 出版“t h e n a t u r eo f s t a t i s t i c a ll e a r n i n gt h e o r y ”，系统地 阐述了统计学习理论及s v m 的概念和分类方法 v a p n i k ，1 9 9 5 】。 1 9 9 7 年，v v a p n i k ，s g o k o w i c h 和a s m o l a ，发表论文“s u p p o r t v e c t o r m e t h o d f o rf u n c t i o na p p r o x i m a t i o n ，r e g r e s s i o ne s t i m a t i o n ，a n ds i g n a lp r o c e s s i n g ”，详细介 绍了基于s v m 方法的回归算法和信号处理方法 v a p n i k e ta l ，1 9 9 7 。 1 9 9 7 年，m n l l e r 等采用s v m r 进行时间系列建模的研究f m f i l l e re t a 1 ， 1 9 9 7 1 ，拓宽了支持向量机的研究领域，此后许多学者进行了这方面的研究 m u k h e r j e e e ta 1 ，1 9 9 7 1f r o n t z e ke ta 1 ，2 0 0 1 ；g u n ne ta 1 ，1 9 9 9 1b r o w ne ta 1 ， 1 9 9 8 ：d r e z e te ta 1 ，1 9 9 8 1k e c m a ne ta 1 ，2 0 0 1 。 1 9 9 8 年，s m o l a 在他的博士论文中系统地研究了s v m 学习的机理及在分类 中的应用。为迸一步完善s v m 非线性算法做出了重要的贡献 s m o l a ，1 9 9 8 。 2 0 0 1 年s u y k e n s 等采用了s v m r 进行优化控制的研究 s u y k e n s e ta 1 ，2 0 0 1 ， 使支持向量机的研究向控制领域发展，不仅开创了智能控制的新方向，而且进一 步拓宽了支持向量机的研究领域。 近几年出现了许多发展和改进的s v m 算法，如张学工的 2 第一章绪论 中国科学技术大学博士学位论文 c s v m z h a n g ，1 9 9 9 】，s c h 6 1 k o p f 的v s v m 【s c h 6 1 k o p fe ta 1 ，1 9 9 9 1 ，j o a c h i m s 提出 的s v m r i g h j o a c h i m s ，1 9 9 9 1 ，h s u 等提出的b s v m 【h s u e ta 1 ，1 9 9 9 1 ，这些算法主 要是对支持向量机训练算法的改进。s v m 正日益引起广泛的关注尤其值得一提 的一个事件是i e e e 于1 9 9 9 年在( ( i e e et r a n s a c t i o n so nn e u r a ln e t w o r k s 出版了 专辑( 见 i e e et r a n s a c t i o n so nn e u r a ln e t w o r k s ) ) ( 1 9 9 9 ，1 0 ( 5 ) ) ，这对于推动 s v m 的发展起了重要的作用。 1 1 3 我国的统计学习理论与支持向量机的研究概况 早在八十年代末期，边肇祺等就注意到统计学习理论的基础成果 b i a n e ta 1 ， 1 9 8 8 ，但之后较少研究。进入9 0 年代末期，特别是近两年，一些学者已经认识 到这个领域的重要性，越来越多的学者、研究人员和科研机构正积极地从事这方 面的研究。如清华大学闻芳等将s v m 用于剪接位点的识别 w e ne ta 1 ，1 9 9 9 ； 清华大学卢增祥、李衍达提出交互支持向量机学习算法并将起其应用于文本信息 过滤问题的研究 l u e ta 1 ，1 9 9 9 1 ：中国科学技术大学陶卿博士和中国科学院合肥 智能所方廷健研究员发表了关于支持向量机的综述文章 t a o ，e ta 1 ，2 0 0 0 ，清 华大学的张学工博士发表了关于统计学习理论和支持向量机的论文【z h a n g ， 2 0 0 0 ：安徽大学的张铃教授研究了s v m 理论与神经网络规划算法的关系，并指出， 基于s v m 的算法与其1 9 9 4 年提出的神经网络的基于规划的算法是等价的 z h a n g ，2 0 0 1 】。中国科学技术大学范劲松与中国科学院合肥智能机械研究所的 方廷健研究员将统计学习理论应用于遗传算法的研究 f a n e ta 1 ，2 0 0 0 ；f a ne ta 1 ， 2 0 0 2 1 。从文献检索来看2 0 0 1 年和2 0 0 2 年国内相关的文献比以前要多得多，这 充分说明了统计学习理论和支持向量机的重要性以及在国内越来越受到重视。此 外，有大学的网站为支持向量机的研究提供支持，如北邮模式识别与人工智能网 站( h t t p ：2 0 2 1 1 2 1 0 8 1 5 8 ) 提供了一些研究资料和国外相关研究站点的链接，清 华大学的水木清华b b s ( 2 0 2 1 1 2 5 8 2 0 0 ) 人工智能版、南京大学的南大小百合 b b s ( 2 0 2 1 1 9 3 2 1 0 2 ) 也为研究者提供了一个交流和学习的网上空间。 1 2s v m r 、建模与控制的研究现状与存在的问题 s v m r ( s u p p o r t v e c t o r m a c h i n e s r e g r e s s i o n ) 是支持向量机在实函数域的研 究内容。近些年来，有关s v m r 的新理论和新方法不断涌现，其应用领域也在不 断扩大，从时间序列的建模到学习前馈控制( l e a r n i n g f e e d f o r w a r dc o n t r 0 1 ) 、优 化控制等方面的研究，充分显示了这种算法的优越性。归纳一下目前的研究成果 第一章绪论 中嚣科学技术大学博士学位论文 分五个部分加以说明，并指出其存在的问题。这部分的成果被发表在模式识别 和人工智能 w a n g e ta 1 ，2 0 0 3 。 1 2 1 支持向量机回归学习算法的研究 s m o l a 和s c h o l k o p f 介绍了许多对偶问题的解法及实现 s m o l ae t a 1 ，2 0 0 1 ； s h e v a d ee ta 1 ，2 0 0 0 。但传统的诸如内点法( 在3 1 描述) 等二次规划算法不适 合解决大数据量的问题，这是因为：首先，这些算法要求矩阵的计算和存储都在 内存里进行，这对于大数据量的问题需要特别巨大的内存；其次，这些算法需要 复杂的矩阵运算。因此，对大规模数据集的s v m r 学习的算法必须进行改进。 块( c h u n k i n g ) 算法是由c o r t e s 和v a p n i k 提出的一种改进的学习算法 v a p n i k ， 1 9 8 2 ；c o r t e se ta 1 ，1 9 9 5 】。这种学习算法采用了并行的依次更新口，的方法，将 优化方法的大型二次规划( q u a d r a t i cp r o g r a m m i n g ) 问题分解为一系列小规模的 二次规划问题来解决大数据量的s v m r 的学习问题。首先选择一个数据子集或 工作集，并在这个数据子集解二次规划问题，得出的支持向量和当前不满足k k t 条件( 见2 3 1 ) 的m 个数据组成新的数据子集或工作集，并在新的数据子集 解二次规划问题，这个过程循环往复，直到满足优化条件为止。 块优化算法虽然对传统的s v m r 算法有了一定的改进，但是对于规模巨大 的数据集或建模数据不具有稀疏性的数据仍然不适用。为此o s u n a 等提出了分解 算法( d e c o m p o s i t i o n ) l i a ne ta 1 ，2 0 0 1 ；o s u n ae ta 1 ，1 9 9 7 ；l a s k o v ，2 0 0 0 1 。这 种算法采用固定大小的数据子集，在解子集二次规划问题后，先从子集中移走一 个样本，再加入一个不满足k k t 条件的样本，并在这个数据子集进行优化，这 个过程循环往复，直到所有样本都满足优化条件。 虽然分解法对块算法在大数据集和不具有稀疏性的数据的学习方法进行了 改进，但这种方法每次只优化一个数据，就当然存在速度和效率的问题，这对于 大数据集的问题同样也是不适合的，而且固定子集大小是否能够包含所有支持向 量也是一个要考虑的问题。p l a t t 等提出了s m o ( s e q u e n t i a lm i n i m a lo p t i m i z a t i o n ) 学习算法 p l a t t ，1 9 9 9 ；h e v a d e e ta 1 ，2 0 0 0 】。这种方法每次重复过程只能优化两 个l a g r a n g i a n ( 拉格朗日因子) ，由于只有两个参数得到优化而其余参数保持不 变，因而优化可以不用二次规划方法而采用分析方法。因此该方法不仅适合大数 据集的学习而且提高了运行的速度，因此，s m o 算法被认为是目前s v m r 训练 算法中最好的方法 c a m p b e l l ，2 0 0 0 】。 4 第一章绪论 中国科学技术大学博士学位论文 1 2 2 支持向量机模型的选择 支持向量机模型的选择包括核的选择、容量c 的选择、损失函数的选择以及 与核有关的参数的选择。 1 2 2 1 核和容量c 的选择 对于非线性模型来说，回归模型中经常采用r b f 核函数。以下就以r b f 为 例来说明如何选择核的参数。对于r b f 核来讲，需要选择的参数有：核的宽度a 和容量c 。通常有如下几种方法：交叉验证法( c r o s s v a l i d a t i o n ) 、从统计学习理 论导出v c 维的界和贝叶斯法( b a y e s i a n ) 等。 方法一：交叉验证法 最简单的方法是定义一个训练集、确认集和测试集，可以选择几组不同的c 和a ，从训练集中的训练数据推导出支持向量值口，选择其中使确认集中数据错 误最小的那一组c 和a 作为模型的参数。测试集中的数据是完全独立的数据， 在模型辨识的过程中，不参与模型的训练与确认。交叉验证法是较好的方法，对 于大数据集倾向于采用l o 次交叉验证法。 方法二：统计学习理论的v c 维学习方法 采用统计学习理论的方法导出模型推广错误的界( 见2 2 1 式) ，这个界用 v c 维来表示，用统计学习理论选择的核和容量c 可以使v c 维的上界最小，从 而就可以确定模型的参数。采用这种方法虽然可以使v c 维上界最小，然而这种 方法需要在非线性空间计算超球半径 s t e v e ，1 9 9 8 ；c h a p e l l e e ta 1 ，2 0 0 0 1 。 方法三：b a y e s i a n 学习方法 b a y e s i a n 学习方法被成功地应用于经典的神经网络的训练与理解。在 l s s v m 中的应用被发展为三个层次的推理：第一个层次的推理是考虑w 的概率 的分布( 在一个潜在的无限维空间) ，确定正则项和最小二乘损失函数的可能性： 第二个层次的推理是容量c 的推导：第三个层次的推理是获得核的宽度的参数 1 2 2 2 损失函数的选择 支持向量机回归中的损失函数( 详见2 4 1 ) 常用的有二次损失函数( 最小 二乘损失函数) 、最小模损失函数( 拉普拉斯函数) 、h u b e r 损失函数和s 不敏感 损失函数等。h u b e r 认为在数据分布未知的情况下，h u b e r 损失函数具有最佳特 性的鲁棒回归函数。如果已知噪声密度是一个对称函数，则最好的对回归的最小 最大的估计( 在最坏的噪声情况下对模型最好的估计) 的损失函数为最小模损失 函数。不敏感损失函数具有稀疏性，其他的损失函数则不具有稀疏性 v a p n i k ， 2 0 0 0 ；h e v a d ee ta 1 ，2 0 0 0 ： 1 2 3 支持向量机回归建模 采用s v m r 进行时间系列建模的研究比较多 m n l l e r e ta 1 ，1 9 9 7 ：m u k h e r j e e e ta 1 ，1 9 9 7 ；f r o n t z e ke ta 1 ，2 0 0 1 ：g u n ne ta 1 ，1 9 9 9 ：b r o w ne ta 1 ，1 9 9 8 ：d r e z e t e ta 1 ，1 9 9 8 ；k e c m a ne ta 1 ，2 0 0 1 ，除了时间序列建模以外，还有系统辨识、经 验数据建模 b r o w n e ta 1 ，19 9 8 ：k e c m a ne ta 1 ，2 0 0 1 等建模方法。这部分简单介 绍时问序列和系统辨识的建模方法的研究。 1 2 3 1 非线性时间序列的建模 文献 m a i l e r e ta 1 ，1 9 9 7 ；m u k h e r j e ee ta 1 ，1 9 9 7 ：f r o m z e ke ta 1 ，2 0 0 1 ：j o h a n e ta 1 ，2 0 0 i 采用s v m r 建立时间序列模型并根据模型进行预测。其基本原理可 以表示如下： 对非线性时间序列 t = ( 厂( 1 ) ，厂( 2 ) ，一，厂( ) ) = ( x ，x 2 ，一，x 。) 选择适当的m ，h e n ，采用训练数据 d = f ( ( 。 ，- ，t 一2 。，一。) ，) ) 和损失函数，根据s v m r 原理得出 x n + l = f ( x n + l - m ，靠+ l 一2 ，x n + l 一 ) 文献 m a i l e r e ta 1 ，1 9 9 7 对有噪声的时间序列进行了仿真实验，并与r b f 网络仿 真的结果进行了比较，结果表明，对于随机白噪声r b f 与s v m r 取得了相似的 结果，但对于正规噪声s v m r 则好于r b f 网络。文献 f r o n t z e ke ta 1 ，2 0 0 1 采 用了三个时间序列进行了仿真实验并与多项式、比例、局部多项式、r b f 和神 经网络等算法进行了比较，结果表明与其他方法相比s v m r 具有很好的特性。 文献 m u k h e r j e ee ta 1 ，1 9 9 7 1 应用s v m r 时间序列预测的原理，采用不同的核建 立了单个神经元的动力学模型并对其进行了测试，与传统的r b f 神经网络相比， 高斯核的s v m r 算法具有学习速度快和极好的一步预测效果的优点。 此外，m i n g w e ic h a n g 等提出了无监督的时间系列分割的竞争的支持向量 机，并将其应用于动态时间系列，取得了与神经网络同样好的结果 m i n g w e ie t 6 第一章绪论 中国科学技术大学博士学位论文 a 1 ，2 0 0 2 。 1 2 3 2 系统辨识 文献 d r e z e t e ta 1 ，1 9 9 8 将s v m r 应用于离散的线性和非线性系统辨识的研 究。对于线性系统辨识其基本原理是将线性系统的系数矩阵( a ，b ) 等于优化结 构风险泛函所得权矩阵( ，) ，其中的s v m r 采用线性s v m r ：对于非线性系统 辨识其基本思想是将高维线性空间对应的非线性项的权值作为对非线性系统所 辨识的参数，适合的核函数有高斯核、双曲正切核和多项式核。仿真结果表明， 对于线性系统来说，当所估计的模型的阶数与实际模型阶数一致时，辨识的精度 就高，反之辨识的精度就降低低。对于非线性系统来说，辨识的精度与核函数的 复杂性有关，精度随着核函数的复杂性的增加而降低。 1 2 4 支持向量机回归控制 文献 s u y k e n se ta 1 ，2 0 0 1 ：k r u i f e ta 1 ，2 0 0 1 1 采用了s v m r 进行控制算法 的研究。文献 s u y k e n se ta 1 ，2 0 0 1 采用最小二乘支持向量机进行优化控制的研 究，其基本思想是将n 步优化控制的目标函数和n 步预测误差作为损失函数，约 束条件除s v m r 的约束条件外，将系统的动力学方程和控制规律的表达式也作为 约束条件。最小化风险泛函即可求得具有核函数的控制规律，并通过曲线跟踪、 倒立摆和球与光束的例子进一步说明了该优化控制方法的控制效果。 文献 k r u i f e ta 1 ，2 0 0 1 将s v m r 用于学习前馈控制( l f f c ) 中的学习前馈 结构( l f f ) ，并分析了s v m r 作为l f f c 中的l f f 的可行性。在学习前馈控制 中，如果学习前馈是过程的逆，那么当干扰出现时仍能获得很好的控制。采用 s v m r 进行离线学习，并用线性马达系统进行了仿真实验，与b 样条神经网络 相比，具有极好的性能。 此外，m i l l e r i o u xg 等采用支持向量机回归来设计多中心非线性观测器 f m i l l e r i o u xe ta 1 ，2 0 0 2 。a n d r e ab o n i 等研究了塑料注射成型过程的支持向量机回 归白适应控制过程的硬件实现 a n d r e a e ta 1 ，2 0 0 1