（热能工程专业论文）支持向量回归在预测控制中的应用研究.pdf

华北电力大学博士学位论文摘要 abs t r ac t s t a t is t i c s p la y s b a s ic f u n c ti o n in s o l v i n g m a c h in e l e a r n i n g p r o b le m . b u t t r a d in t io n a l s t a ti s t i c s m a i n l y s t u d y p r o g r e s s iv e t h e o r y , t h a t i s t o s a y t h a t t r a d i n t o n a l s t a t is t i c s is b a s e d o n a s s u m p t io n t h a t s a m p l e s a r e i n f i n i t e . i n r e a l it y , t h e s a mp l e s t h a t c a n g e t i s f i n it e , s o s o m e e x c e ll e n t l e a r n i n g m e t h o d s c a n n o t g e t s t a t i s f i e d r e s u lt . s t a t is ti c a l l e a r n in g t h e o r y i s a th e o r y th a t s p e c i a l ie d i n m a c h in e t e a m i n g w i th f i n i t e s a mp l e s . s u p p o r t v e c t o r r e g r e s s i o n i s a n imp o r t a n t a r e a o f s l t .i t s b a s ic a l t h e o ry i s v c d im e n s i o n th e o r y a n d s t r u c tu r e r i s k m i n it i o n r u l e , a n d i t p r o s s e s s e s g o o d c h a r a c t e r is ti c a n d b e s t g e n e r a l iz a t i o n a b il it y . s v r h a s g o o d n o n - li n e a r a p p r o x im a t e a b i li ty a n d g e n e r a l i z a t io n a b l it y . s v r i s a p p l i e d t o f o r e c a s t d a ta o f b o x - j e n k in s g a s f u r n a c e . t h e a r t i c le a n a l y s e s t h e r e a s o n w h y s v r is s u p e r io r t o t h e b p n e u r a l n e tw o r k a n d s e l f - a d a p t iv e e x p a n d i n g n e u r a l n e tw o r k . a t th e s a m e t im e t h e a r t ic l e p o i n t o u t t h e s h o r tc o m in g o f s v r a lg o r i th m .i n o r d e r t o s o lv e t h e p r o b l e m t h a t s u p p o r t v e c t o r m a c h in e s c a n n o t d e a l w it h l a r g e s c a le d a ta , t h is p a p e r i n t r o d u c e s t h e a lg o r i t h m o f s e q u e n t ia l m i n im a l o p t im i z a ti o n ( s m o ) w h ic h is a d a p t t o s o l v e t h is p r o b l e m ,a n d m a k e s i m p r o v e m e n t s b a s e d o n t h i s a l g o r it h m t o i n c r e a s e o p e r a t i o n a l s p e e d . t h e i d e n ti f i c a t io n s t u d y o f s u p p o r t v e c t o r m a c h in e in v o lv e s v a r i o u s c o u r s e s . b u t m o s t o f i t i s o f f - l in e . t h e r e a s o n i s t h a t s u p p o r t v e c t o r m a c h in e n e e d s lo n g t i m e a n d la r g e me mo r y w h e n it p r o c e s s e s la r g e - s c a l e d a t a . in o r d e r t o s o l v e t h is p r o b le m, t h i s p a p e r p r o p o s e d a n a l g o r i th m n a m e d li m it e d m e m o r y o n - l in e i d e n t i f ic a t i o n b a s e d o n s u p p o r t v e c to r r e g r e s s io n . t h i s a l g o r it h m a v o i d s t h e p r o b le m th a t n e e d s l a r g e me mo r y a n d me e t s t h e d e m a n d f o r r e a l t ime a c c o r d in g t o th e g o o d c h a r a c t e r o f n o n li n e a r a p p r o x im a te a b il it y o f s u p p o rt v e c t o r r e g r e s s io n , a p p l y s u p p o rt v e c t o r r e g r e s s io n in t o in t e rn a l c o n t r o l . t h i s p a p e r p r o p o s e s a d e s ig n m e t h o d f o r in te r n a l c o n tr o l b a s e d o n s u p p o r t v e c t o r r e g r e s s io n ( s v r - i m c ) : a d o p t th e o n -l in e i d e n t if i c a t io n a lg o r it h m b a s e d o n s u p p o r t v e c t o r r e g r e s s io n to b u il d s y st e m m o d e l , a t th e s a m e t im e b u i ld in v e r s e m o d e l o f f lin e f ir s t ly , t h e n m o d if y t h e m o d e l o n li n e . s v r - imc h a s b e t te r r o b u s t a n d a n tij a m m in g a b il it y , a n d h as b e tt e r c o n t ro l p e rf o r ma n c e . d y n a m i c m a tr ix c o n tr o l b u il d s p r e d ic t iv e m o d e l w i th s t e p r e s p o n s e w h i c h is e a s y to o b t a in in e n g i n e e r in g p r a c t i c e . a s m o d e l m is m a t c h , d is tu rb a n c e a n d n o i s e in e v it a b l y ii 华北电力大学博士论文摘要 i n v o lv e th e m o d e l in g e r r o r , th is im p a c ts t h e c o n t r o l p e r fo rm a n c e . c o n s i d e r s t o th is k in d o f s it u a ti o n , a n a l g o r it h m o f d y n a m i c m a t ri x c o n tr o l b a s e d o n s u p p o rt v e c t o r r e g r e s s io n s e r r o r c o mp e n s a t io n i s p r o p o s e d . na me ly , b u il d e rr o r mo d e l o n - lin e u s in g s u p p o rt v e c t o r r e g r e s s i o n s a n d d o o n e - s te p p r e d i c t io n t o c o mp e n s a t e th e p r e d ic t iv e m o d e l . t h u s r e a liz e t h e c o m p e n s a t io n f o r m o d e l e r r o r a n d s tr e n g th t h e r o b u s t n e s s o f t h e a lg o r it h m. ke y w o r d s : s u p p o rt v e c t o r m a c h i n e , p r e d ic ti v e c o n tr o l, ti m e s e r i e s , o n - lin e a r i d e n ti fi c a t i o n , r e g r e s s io n i i i 目旨 o口 p4明 本人郑重声明:此处所提交的博士学位论文 支持向量回归在预测控制中的应 用研究 ，是本人在华北电力大学攻读博士学位期间， 在导师指导下， 独立进行研究 工作所取得的成果。尽我所知，除文中己经注明引 用的内容外，本学位论文的 研究 成果不包含任何他人享有著作权的内容。对本论文所涉及的研究工作做出贡献的其 他个人和集体，均己在文中以明确方式标 明。 签 名 : 理毅江- 日 期 : u ,o 7 . . w 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即:学校有权 保管、并向有关部门送交学位论文的原件与复印件; 学校可以采用影印、缩印或 其它复制手段复制并保存学位论文;学校可允许学位论文被查阅或借阅:学校 可以学术交流为目 的，复制赠送和交换学位论文; 同意学校可以用不同 方式在不同 媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的 学位论文在解密后遵守此规定) 作 者 签 名 : 检 生 琴 一 日期 : 词 . 6 . 2 0 导 师 签 名 : 玉 处牟 。期 : ,jo - _ _ _ _ ._ . _ 二华 北 电 力 大 学 博 士 学 位 论 文一 一 第一章 绪论 1 . 1 选题背景及其意义 1 . 1 . 1统计学习理论与支持向里机 机器学习从本质上来说是学习输入模式空间与输出空间的函数映射关系。 通常把表达这种映射关系的函数集叫做学习机器。学习机器最重要的性能是其 学习能力和推广能力。所谓学习能力是指学习机器调整其自身参数使之适应训 练样本集的能力。推广能力又称为泛化能力，指学习机器从当前训练样本上学 到的知识 ( 映射关系)的普遍性能力。 统计学在解决机器学习问题中起着基础性的作用，传统统计学主要研究渐 进性理论，即当训练样本数目趋向无穷大时的统计性质。但是在实际问题中， 可用的样本数目通常是有限的，因此一些理论上很优秀的学习方法在实际中表 现的却可能不尽人意。这是包括参数估计和神经网络等在内的学习机器无法避 免的一个根本性问题。 早 在2 0 世纪7 0 年 代 人 们建 立7 统 计 学习 理论h l ( s t a t i s t i c a l l e a r n i n g t h e o ry , s l t ) 。该理论系统地研究了机器学习的问 题，尤其是有限样本下的统计学习问 题. 在其后的 2 0多年里， 涉足这一领域的人不多。 这期间，前苏联人 v a p n i k 和c h e r v o n e n k i s 做了大量开创性、莫基性的工作。这些工作主要是纯理论性的， 故当时未引起人们的重视。进入 9 0 年代中期，在该理论的框架下产生了“ 支持 向 里机 ( s u p p o r t v e c t o r m a c h i n e s , s v m) ” 这一新的通用机器学习方法。 它植根 于统计学习理论的v c 维理论和结构风险最小化 ( s t r u c t u r a l r i s k m i n i m i z a t i o n , s r m)原则， 并且s v m根据有限的样本信息在模型的复杂性和学习能力之间寻 求最佳折衷，以 期获得最好的推广能力( g e n e r a l i z a t i o n a b i l i t y ) 。因此支持向 童 机同其它机器学习算法相比有如下优点: 1 .该算法专门针对有限样本情况，得到的是现有信息下的最优解，而不仅 仅是样本数趋于无穷大时的最优值; 2 .该算法最终转化成为一个约束条件下的二次型寻优问题，从理论上说， 得到的将是全局最优点，解决了在神经网 络方法中无法避免的局部极值问 题: 3 .该算法具有强大的非线性和高维处理能力。保证了较好的推广能力，并 解决了维数问 题，其算法复杂度与样本维数无关， 只取决于支持向量的 个数; 4 ，该算法在很大程度上解决了模型选择、过学习、非线性、维数灾难等问 i 第一章 绪 论 题。 支持向量机方法在解决实际问题中的成功应用及其所表现出的令人向往的 优良 特性，使其迅速引起了人们的重视。目前，越来越多的学者认为，关于统 计学习理论和支持向量机的研究，将很快进入像 8 0 年代后期人工神经网络研究 那样的飞速发展阶段，并将带来机器学习领域一场深刻变革。 1 . 1 . 2控制理论的发展及其面临的问题 1 . 1 . 2 . 1控制理论的发展 控制理论在2 0 世纪的人类科技进步中起了举足轻重的作用，为解决当今社 会的许多挑战性问题产生了积极的影响，提供了科学的思想方法论;为许多产 业领域实现自 动化奠定了理论基础，提供了先进的生产技术和先进的控制仪器 及装备。尤其是数字计算机的广泛使用，为控制理论的发展开辟了更广泛的应 用领域. 2 0世纪的控制理论是在实践的重大需求驱动下快速发展的，经历了若干重 要的发展时期，如2 。 世纪初的l y a p u n o v 稳定理论和p i d控制律概念; 2 0 年代 的反馈放大器:3 0 年代的n y q u i s t 与b o d e 图;4 0 年代维纳的 控制论:5 0 年代 贝尔曼动态规划理论和庞特里亚金极大值原理;6 0年代卡尔曼滤波器、系统状 态空间法、系统能控性和能观性:7 0 年代的自 校正控制和自 适应控制;8 0 年代 针对系统不确定状况的鲁棒控制;9 0年代基于智能信息处理的智能控制理论。 近3 0 年来，控制科学在非线性系统控制、分布参数系统控制、系统辨识、随机 与自 适应控制、鲁棒控制、离散事件系统和混合系统、智能控制等研究方向上 取得了 许多重要进展。 目 前， 这些方向 仍将是控制科学发展的主要研究方向2 , 3 1 它们之间的交叉与结合，将形成许多应用性更强的重要研究方向。 1 . 1 . 2 .2 传统与现代控制理论的局限性 传统控制器都是基于系统的数学模型建立的，因此控制系统的性能好坏很 大程度上取决于模型的精确性，这正是传统控制的本质。现代控制理论可以解 决多输入、多输出 ( mi mo ) 控制系统的分析和控制问题， 但其分析与综合方法 也都是在获得控制对象数学模型基础上进行的。而数学模型的精确程度对控制 系统性能的影响很大，往往由于某种原因，对象参数发生变化使数学模型不能 准确地反映对象特性，从而无法达到期望的控制指标.为解决这个问题，自 适 应控制、 鲁棒控制的研究便成为控制理论的研究热点。 2 0 世纪8 0 年代由加拿大 学者z a m e s 等人创始的h 。 控制理论是鲁棒控制理论的重要发展。 但这些方法本 质上还是没有摆脱基于数学模型的定量化思想。 传统控制， 包括经典反馈控制、 一 一-生 a l 电 力 大 学 博 士 学 位 论 文 现代控制理论等，在应用中遇到不少难题。机理建模所不可避免的模型误差将 导致估计器工作效果时好时坏，难以设计可靠、稳定的控制系统。 1 . 传统控制理论面临的问题 1 )控制对象的复杂性 传统 控制理论的 思想是建 立在精确 数学模型 基础上的， 然而对实际应用中 的非线性、时变性、不确定性和不完全性的系统，一般无法获得精确的数学模 型.对含有对象复杂性和不确定性的控制过程，很难用传统数学建模方法来解 决建模问题。 2 )控制方法和手段单一 在研究一个实际的控制对象时，为了得到理论上性能良好的控制器，经常 提出一些比较苛刻的假设，然而这些假设在应用中往往与实际情况不相吻合. 根据现有的理论和技术描述复杂的控制过程会出现片面性、单一性，建立的模 型有可能与实际过程相差甚远。传统的控制对象往往局限于单一的、有确定的 物理规律的系统 。对于复合型系统 ，传统的控制方法就显得力不从心 。 3 )无法满足控制性能的高要求 通常，控制系统需要具有所期望的控制精度、稳定性能及动态性能。为了 提高系统性能，传统控制系统可能变得相当复杂，从而使得系统的可靠性与其 它系统性能成为不可调和的矛盾。控制系统能够处理数值的、符号的、定性的、 定量的、确定的和模糊信息等各类信息，即要求控制系统具有多层次的信息处 理结构。传统的控制方法是很难做到这一点的。 2 . 现代控制理论面临的问题 1 ) 控制对象与控制对象所处的环境的变化 随着计算机网络技术普及与发展，基于网络的远程控制受到人们的关注。 在网络环境下存在延时、数据的丢失、数据时序的变化及数据的非等间隔采样， 使得网络环境变得十分复杂和困难。同时，网络自身的安全与控制也是一个十 分重要和非常棘手的问题.不同性质、不同控制对象组合而成的混杂系统还缺 乏理论支持和相应的技术手段。 2 ) 理论问题 由于复杂系统的建模、稳定性与系统设计缺乏理论支律和指导，有必要综 合应用其他学科，如数学、信息科学、系统科学与认知科学的最新进展来建立 一个解决复杂性问题的完整理论。 第一章 绪 论 3 ) 控制要求 具有多种信息或传感信息的综合能力;具有 自 学习和 自 适应能力，能够自 主调整控制机构;高可靠性:控制系统本身应该具有良好的控制特性:在出现 故障和意外时，能及早进行自我故障诊断及排除。现代控制系统应该具有良好 的容错性和鲁棒性。在一些情况下需要构造一个合理的人机协作的控制系统。 基于上述问题，控制科学界多年来一直在探索着新的方法，寻求更加符合 实际的 “ 发展轨迹” ，这就导致了智能控制的研究。智能控制的主要 目 标是使控 制系统具有学习和适应能力。近十年来，人工智能学科新的进展给人们带来了 希望.由于得益于计算机科学技术和智能信息处理的高速发展，智能控制逐渐 形 成一门 学科， 并在实际 应用中显出 强大的 生命力。 基于模 糊推理的系 统建模4 1 神 经网络 模型参考自 适应控制、 神 经网 络内 模控制 15 1 、 神经网络非 线性预测控 制、 混沌神 经网 络控制 6 1 等方面已 有不少重 要研究 成果。 1 . 1 .3选题的意义 将统计学习理论中的支持向量机算法与系统辨识、预测控制等控制工程中 的应用技术有机地融合起来，一方面拓宽了支持向量机的应用范围，更好地发 挥其理论优势，并在应用中发现问题，在解决问题的过程中发展和完善支持向 量机理论;另一方面提出基于支持向量机的辨识与预测控制算法，以解决目前 控制工程中垦待解决的非线性、时变系统的辨识与控制问题，从而实现理论与 应用的结合与相互促进。 本课题针对控制工程中的非线性、时变系统的 特点，结合支持向量机在回 归领域的研究，研究支持向量机在控制工程中的应用，从时间序列的预测到系 统辨识再到预测控制，可以为火电厂汽温、负荷等系统提供新的控制思路和控 制算法，从而确保这些系统在整个全局工况范围内均具有 良 好的调节品质，保 障机组的安全、经济运行。 1 .2 国内外研究动态 .2 . 1 机器学习的研究 机器学习是研究怎样使用计算机模拟或实现人类学习活动的科学，是人工 智能中最具智能特征、最前沿的研究领域之一自2 0世纪 8 0年代以来，机器 学习作为实现人工智能的途径，在人工智能界引起了广泛的兴趣。特别是近几 年来，机器学习领域的研究工作发展很快，它己成为人工智能的重要课题之一。 机器学习不仅在基于知识的系统中得到应用，而且在自然语言处理、非单调推 ._ _ 旧 _ ._ . . .一 . . 一华 北 电 力 大 学 博 士 学 位 论 文 .- 一 理、机器视觉、模式识别等许多领域也得到了广泛开展。一个系统是否具有学 习能力已成为是否具有 “ 智能”的一个标志。 机器学习研究的主要发展过程大致可分为四个阶段，并分别以四个重要事 件为标志。 第一阶 段: 第一 个 学习 机 器的 创立( 6 0 年 代 ) 11 7 . 主要目标是研制各类自组织和自适应系统，它们能修改自身以适应它们的 环境。如果给系统一组刺激、一个反馈源，以及修改它们自身组织的足够自由 度，那么它们将改变自身为最优的组织。这类系统所采用的主要方法是不断修 改系统的控制参数得以改进它的执行能力，不涉及面向具体任务的知识，其理 论基础是早在4 0 年代就开始研究的神经网络模型。各种神经计算机的模拟被研 制和检测， 其中最有名的是r o s e n b l a tt的 感知机 7 1 。 这个阶段的研究工作导致了 模式识别这个新学科的诞生， 同时还形成了机器学习的一种重要方法一判别函数 法。s a m u e l 的下棋程序就是使用这种方法的杰出代表。 第二阶段:学习理论基础的创立 ( 6 0 -7 0 年代)。 这一阶段是学习过程的理论分析学派( 统计学习理论) 取得累累硕果的阶段， 而应用分析学派则没有大的发现。 统计学习理论里的v c嫡和v c维的概念，引 导人们发现了泛函空间的大数定律( 频率一致收敛于其概率的充分必要条件) ， 得 到了关于收敛速度非渐进界的主要结论， 提出了 一个全新的归纳原则( 即 1 9 7 4 年的结构风险最小化归纳原则) ，完成了模式识别学习理论。此外，确立了 解决 不适定问 题( i l l - p o s e d p r o b l e m ) 的正则化理论 ( r e g u l a r i z a t i o n t h e o ry ) ，提出7 密度 估计的非参数化方法。 2 0 世纪 6 0 年代， 还提出了统计学和信息论中最伟大的思 想之一一算法复杂度的思想。 这些新思想处理了在有限数里的经验基础上进行依 赖关系估计的问题，改变了人们的主要认识。这一阶段在模拟人在概念上的学 习过程，采用逻辑结构或图结构的机器内部表示，系统学习表示高级知识的符 号描述等方面也取得了一定的进展。 这个阶段的代表工作有wi n s t o n 的结构学习 系统， 此外还有m i e h a l s k i 以 及h a y e s - r o t h 等人的基于逻辑的归纳学习系统， 这 类系统虽然取得较大成功，但所学的都是单个概念，并且大部分都处于理论研 究和实验建模阶段。 第三阶段:神经网络( a n n ) 的创立 ( 8 0 年代)。 这是机器学习蓬勃发展的阶段，研究领域从学习单个概念扩展到学习多个 概念，同时，研究者开始考虑各种形式的学习方法。在 1 9 8 6 年，几个作者独立 地提出了同时构造感知器所有神经元的向量系数的方法，即后向传播方法 ( b p 第一章 绪 论 算法) $ 1 9 1 ，开创了人工神经网络在机器学习领域广泛应用的时代。同时， 机器 学习领域也发生了一系列有影响力的事件:1 9 8 0年在美国卡内基一梅隆大学召 开了第一次国际机器学习专题讨论会。1 9 8 4年，由s i m o n等二十多位人工智能 专家共同撰文编写的 机器学习文集问世，标志着机器学习的研究发展到一 个新的阶段。1 9 8 6年 机器学习文集第二卷出版，国际性杂志 ( ma c h i n e l e a r n i n g 创刊，更加显示出机器学习突飞猛进的发展趋势。 第四 阶段: a n n替代方法的 创立 ( 9 0 年代 ) 1 1 0 0 . 1 1 . 1 z 这一阶段针对基于联结主义的人工神经网络的推广性差、易陷入局部极值、 收敛速度慢等重要缺陷和不足，使关于小样本统计学习理论的讨论被广泛开展 起来。 统计学习理论有完备的理论基础和严格的理论体系( 相比 之下a n n有更多 的启发式成分) ， 其核心思想是通过控制学习机器的容量实现对推广能力的控制。 在这一理论的框架下诞生了s v m这一新的通用机器学习方法。 1 . 2 . 2 统计学习理论及其支持向量机的研究概况 基于数据的机器学习是现代智能技术中的重要方面， 研究从观测数据( 样本) 出发寻找规律，利用这些规律对未来数据或无法观测的数据进行预测，包括模 式识别、神经网络等在内。现有机器学习方法共同的理论基础之一是统计学。 传统统计学研究的是样本数目 趋于无穷大时的渐近理论，现有学习方法也 多是基于此假设。但在实际问题中，样本数往往是有限的，因此一些理论上很 优秀的学习方法在实际中表现却可能不尽人意。与传统统计学相比，统计学习 理论( s t a t i s t i c a l l e a r n i n g t h e o r y 或s l t ) 是一种专门 研究小样本情况下机器学习 规律的理论。它的研究起始于2 0 世纪6 0 年代末，在其后的2 0 多年里，涉足这 一领域的 人很少. 这期间，前苏联人v . v a p n i k 等人做了 大量开创性、奠定性的 工作 1 0 1 。到九十年代中期，随着其理论的不断发展和成熟，也由 于神经网络等 学习方法在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视 1 1 3 统计学习理论建立在一套较坚实的理论基础之上的，为解决有限样本学习 问题提供了一个统一的框架.它能将很多现有方法纳入其中，有望帮助解决许 多原来难以解决的问题( 比如神经网 络结构选择问 题、 局部极小点问 题等) : 在这 一理论基础上， v a p n i k 等人在9 0 年代提出了 一种新的 通用学习方法一支持向 量 机。支持向量机出现以后，由于工业发展的需要，其理论研究的发展和应用研 究非常迅速。国外最初的工作主要集中在o c r( 光学字符识别) 。在很短的时间 内，支持向量分类机已经可以同最好的光学字符识别和目 标识别任务系统相竞 华北电力大学博士学位论文 争 14 1 。 关于支持向 量分类机的 一个全 面指南 在 1 9 9 8 年己 有 b u r g e s 发表.并 且 还 在回归 和时间预 测应用方面， 很 快就取得了 极好的 性能1 5 11 16 1 7 1 8 1 . 在每 年神 经 信息处 理系统会议 上可看出 支持向 量 机技术迅 速发展 19 1. 2 0 0 1 年 s u y k e n s 2 0 1 等采用了s v r进行优化控制的研究，使支持向量机的研究向控制领域发展。不 仅开创了智能控制的新方向，而且进一步拓宽了支持向量机的研究领域.支持 向量机现在已 经成为一个活跃的研究领域，它正在进入机器学习标准方法工具 箱 的 过 程 中 2 1 2 2 1 在国内 ， 8 0 年代 末期， 边荤 棋等就注 意到统计学习 理论的 基础成果 2 3 1 ， 但 没有引起广泛的关注。直到9 0 年代末期尤其最近两年，支持向量机的优异的性 能吸引了 广大学者和科研工作者，使我国支持向量机的研究进入了一个新的时 期。 从国内文献检索 ( 重庆维普数据资源标明来源)来看，1 9 9 9 年至 2 0 0 0 年关 于支持向量机的论文仅 8 篇，2 0 0 1 就增为 1 7篇，到 2 0 0 2 年就为 7 9 篇， 2 0 0 5 关于支持向量机文章的总数目 达到 7 6 0篇。不仅论文数量迅速递增，而且论文 研究和应用的领域也在不断的扩大，支持向量机基础性的理论研究主要有:支 持向 量 训练算 法的 研究【2 4 2 51 、将 支持向 量机同 其他算法结 合， 如模 糊支持向 量 机的研究 2 6 2 71 、 小波支持向 量 机【2 8 2 9 、 最小二乘支持向量 机13 0 3 1 1等:其应 用 研 究 最 初 只 应 用 于 模 式 识 别 2 3 ， 近 几 年 在 函 数 拟 合 13 2 1 13 3 3 4 1数 据 挖 掘 3 5 3 6 和 控制 13 7 等方 面才得以 广泛的 应用:其 应用领域也 涉及到多 个学科， 如化学3 8 s 工业1 3 9 1 ，生物1 4 0 1 ，医学 4 1 等.这充分说明了统计学习理论和支持向量机的重要 性以及在国内受到的重视程度。此外，有许多网站为支持向量机的研究提供资 料和交流平台，如北邮模式识别与人工智能实验室、清华的水木清华 b b s人工 智能版、南京大学的小百合 b b s . 1 .2 . 3 支持向量回归的研究现状及其存在的问题 当支持向量机被用来处理函数近似问题和回归估计问题时，被称为支持向 t 回归 ( s u p p o rt v e c t o r r e g r e s s io n ， 简称s v r ) ， 支持向 量回归 用来 处理函数 近 似问题是非常有效的，特别适合处理高维函数近似问题。支持向量回归是把支 持向量机在估计指示函数中得到的结果推广到估计实函数中，因此它是支持向 量机在实函数域的研究内容。 1 . 2 . 3 . 1 支持向皿回归训练算法的研究 s v r的训练问题实质上是一个凸规划问题，或者其对偶问题一一个二次规 划 ( q p ) 问 题。 传统的 利用标准二 次型优化 技术解决 对偶问题的 方法: s v r 方 法需要计算和存储核函数矩阵，当样本点数目 较大时，需要很大的内存。例如， 当样本点数目超过4 0 0 0 时， 存储核函数矩阵需要多达 1 2 8 兆内 存:其次， s v m 第一章 绪 论 在二次型寻优过程中要进行大量的矩阵运算，多数情况下，寻优算法是占用算 法时间的主要部分.所以受计算机内存容量的限 制，只适用于样本较少的 情况， 而根本无法处理大量数据的问 题。 针对传统的求解二次规划问 题速度慢等问题，提出了一些改进的算法。目 前 s v m 的训练算法一般采用循环迭代解决对偶寻优问 题: 将原问题分解成为若 干子问题，按照某种迭代策略，通过反复求解子问题，最终使结果收敛到原问 题的最优解。根据子问题的划分和迭代策略的不同，大致分为几类: 1 . 分解方法 分解方法其思想是通过循环迭代解决对偶寻优问题:将原问题分解成更易 于处理的若干子问题，即设法减少寻优算法要解决问题的规模，按照某种迭代 策略，通过反复求解子问题，最终使结果收敛到原问题的最优解。根据分解策 略、分解后子问题的大小以及子问题的求解策略可以将现有的训练算法分为四 种:块算法、分解算法、固定工作集学习算法和序列最小优化算法。 块算法最早 是由v a p n ik l o l 4 2 1等人提出的， 该 算法随机 选择一部分 样本构 成 当前工作样本集，用它作为训练样本集来训练 s v ml剔除其中的非支持向量， 并用训练结果对剩余样本进行检验，将不符合 k k t条件的样本与本次结果的支 持向量合并成为一个新的工作样本集，然后重新训练，如此重复下去直到获得 最优结 果.它 将矩阵的 规模从训 练样本数的 平方减少到具 有非零l a g r a n g e 乘 子 的样本数的平方，大大减少了训练过程对存储的要求。对于一般的问题，这种 算法可以满足对训练速度的要求，但对于训练样本数很大或支持向量数很大的 问题，块算法仍然无法将矩阵放入内存中。 固定工作集学习算法的思想是，在迭代过程中，选择一种合适的换入换出 策略，将剩余样本中一部分与工作样本集中的样本进行等量交换，从而保持当 前求解子问题的优化变量数目不变，即参与训练的工作样本集规模固定。固定 工作样本集的算法既解决了占用内存的问题，而且限制了子问题规模的无限增 大.这种方法虽然解决了块算法遇到的问题，但是固定工作样本集的存在工作 样本集的大小如何确定、工作样本集如何确定、终止条件如何确定等问题。 o s u n a等人4 3 提出的分解算法对固定工作样本集算法进行了改进.这种算 法的思想是采用固定大小的数据子集，在解子集二次规划问题后，先从子集中 移走一个样本，再加入一个不满足 k k t条件的样本，并在这个数据子集进行优 化，这个过程循环往复，直到所有样本都满足优化条件.后来 c . w.h s u和 t .j o a c h im s 4 4 4 s 等 人又对其 进行t改 进. 二 _ . .华 北 电 力 大 学 旦 全 学 位iq 文一一一一一一一一一一一一一 分解算法虽然在一定程度上对块算法和固定工作集算法进行了改进，但是 这种算法 每次只 优化一 个数据， 仍然存在 速度和效率的问 题。 p la t t 4 6 )4 7 1 等提出 了s m o ( s e q u e n ti a l m i n i m a l o p t i m i z a t io n ) ， 它是分解 算法的 一 个极端 特例，它 采用只有两个样本的数据子集，因此两个样本所形成的二次规划问题通过解析 的方式求解，避免了复杂的数值求解优化问 题，并且工作集采用启发式的方法 选择。因此该算法适合大数据集的学习，也是目前常用的算法。随后 f l a k e , k e e rt h i 4 8 14 9 1等人对s m o算法 进行了改 进，进 一步提高了运 算速度。 2 . 增量学习算法 s y e d 等人s o 】给出了s v m增量训练 算法， 它直接通 过支持向 量实 现增量s v m 学习，即每次只选一小批常规二次规划算法能处理的训练样本，然后保留支持 向量，抛弃非支持向量，和新进来的样本混合进行训练，直到训练样本用完， 这种方法简洁高速，但过于依赖历史训练集中的支持向量，这将有可能导致有 用信息的 过早损失， 并直 接影响后 续的 学习 精度。 g e r t g a u w e n b e rg h s 1 1提出了 一种增 量减量式 学习 方法，即 增加 一个训练 样本或减少一个 样本对l a g r a n g e 系 数和支持向量机的影响。j . m a 5 2 1 利用 g e r t 的思想，给出了支持向量回归在线学 习 算 法l i v a r a l a iv o l a s 3 】 提出了 一 种增量式学习 算法， 它的 特点 是基于高 斯核的 局部特性只更新对学习机输出影响最大的l a g r a n g . 系数， 其余的l a g r a n g . 系数 不变， 这样就可以减少计算复杂性。 c a r o z z a s 4 和x i a o s s 】 等人也分别提出了一些 增量式的支持向量机训练算法。 3 . 最小二乘支持向量算法 为了 减 少支持向 量机的 计 算复 杂度， j .s u y k e n s 5 6 1 3 7 1提出了 最小 二乘 支持向 a机 ( l s s v m) ，它把支持向量机的学习问题转化为解线性方程组问题，因此具 有较快的运算速度。 文献155 对最小二乘支持向量算法进行了改进，提出了最小二乘增量学习算 法，这种学习算法减少了离线学习的计算复杂性。增量式学习方法也可以在线 学习，但是它没有考虑所有的历史数据，没有遗忘机制，而且当样本增加较多 时，计算复杂性较大，对在线学习来说计算负担较重。作者又针对这个问题， 提出了在线最小二乘学习算法，有效的解决了上述问题，同时具有良 好的在线 学习能力 。 1 .2 . 3 . 2 支持向且回归应用研究 1 9 9 7年， m u l l e 尹 ， 】等人首次 将支持向 量回归 应用于时 间序列的 预 测， 并将 之与 r b f神经网络进行比较，支持 向量回归表现出很好 的性能，从此支持 向量 第一章 绪 论 回归的应用研究迅速发展。人们开始采用不同支持向量回归算法对各个领域的 时间 序列进 行了 预测，如f r a n c i s e .h t a y 5 9 将支持向 量回 归应 用于经济时 间序 列的预测，并同 b p神经网 络进行比较，结果表明支持向量回归方法明显好于 b p 神经网 络，分 析了 支持向 量回 归优于b p 神 经网络的原因 . l i y u a n c h e n g 6 0 等应用最小二乘支持向量机对电力负荷进行预测，取得了比常规模型更好的预 测精度 。 除了时间序列预测外，支持向量回归还用于系统建模和辨识。目前用支持 向量回归建立过程的动态模型最常用的方法是 “ 灰箱建模” ，即假设可以根据先 验知识确定 模型的结 构， 用支持向 量回 归方法 来估计模型 参数6 1 6 2 .由 于当前 系统的辨识和建模大都是采用离线方式，当离线训练数据量大时，运行时间很 长 。虽然许 多学者采用各种优化算法，但 是对 大规模数据的处理仍然是重待解 决的问题。 近几年 ，一些学者尝试将支持向量回归在控制领域中进行应用，为支持向 量回归的 应用研究 开辟了新天 地. s u y k e n s 6 3 . k r u if 6 0 等人首先将支持向量回 归算法进行优化控制，s u y k e n s 采用最小二乘支持向量机进行优化控制的研究， 其基本思想是将n步优化控制的目标函数和 n步预测误差作为损失函数，约束 条件除支持向量回归外，将系统的动力学方程和控制规律的表达式也作为约束 条件。最小化泛函即可求得具有核函数的控制规律，并通过曲线跟踪、倒立摆 和球与光束的例子进一步说明了该优化控制方法的控制效果。k r u i f 将支持向量 回归用于学习前馈控制中的学习前馈结构，并分析了支持向量回归作为学习前 馈控制的学习前馈结构的可行性。在学习前馈控制中，如果学习前馈是过程的 逆， 那么当干扰出现时仍能获得很好的控制。采用支持向量回归进行离线学习， 并用线性马达系统进行了仿真试验， 与 b样条神经网络相比， 具有极好的性能。 在国 外研究的同时国内也开 始了 此方面的 研究。 q i m i a o 55 】等人将 支持向 量 回归应用于模型参考预测控制，他根据模型预测误差调整模型输入仿真取得了 很好的 控制效果。 张浩然5 6 提出 基于支持向量 机的模型预 测控制结构， 并使用 一个 新的 随机搜索 优化算法来解决 预测 控制律。王定 成6 7 】在博士论文中 对控制 方面的应用进行了研究，提出了 进行内模控制理论和逆模型设计的方法，同时 还提出了基于支持向量回归的预测控制理论，其中优化算法采用 l e v e n b e r g - m a r q u a r d t 和遗传算法， 并将支 持向 量回归 应用于 温室控 制取得了比 常规算 法更 好的 控 制效果. 王宇红16 8 1 也 在博士 论文中 对支 持向 量回归 预 测控制进行了 研究， 他分别研究了常规支持向量机的非线性预测控制技术和基于最小二乘支持向量 机非线性预测控制技术，并在聚酷过程中进行了 仿真验证。 华北电力大学博士学位论文 1 . 2 . 3 . 3 支持向it回归研究中存在的问题 1 . 在支持向量回归学习算法的研究方面，s mo算法虽然是大数据样本学习 中较好的算法，但这种学习算法每次优化两个样本，存在效率问题。因此寻找 快速学习算法或对算法进行改进是支持向量回归首要解决的问题。 2 . 支持向量回归在系统辨识和建模的研究方面具有很好的特性，但目前大 多研究集中