（控制科学与工程专业论文）最小二乘支持向量机建模及预测控制算法研究.pdf

摘要 摘要 论文t ；z 最小二乘支持向量机( l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e s ，l s s v m ) 作为方法，研究其在工业过程建模中的若干问题及其在预测控制算法 中的应用。具体研究内容包括： 1 为区别对待不同的训练数据，提出了一种模糊l s s v m 算法，利用拉格朗日 乘子对每个训练数据定义了一个支持向量度，支持向量度的大小代表了数据 对i ) 1 i 练的重要程度。此外，采用剪切法对算法进行了稀疏性处理，在建模精 度损失很小的前提下，实现了数据的稀疏化。在p h 中和过程的建模仿真研究 表明了算法的有效性。 2 针对l s s v m 求解中要对大矩阵求逆问题，研究了l s s v m 和模糊l s s v m 模 型参数的递推计算方法。论文提出了逐个地增加训练数据时，递推计算待 辨识模型参数的方法，采用分块矩阵求逆公式及和矩阵求逆公式推导得到 了l s s v m 模型参数的递推式。该算法被应用于p h 和过程的仿真，实验结 果表明该算法对于在线建模的有效性。 3 针对训练数据集规模较大时计算量大的问题，基于投影原理提出了一种i s v m 稀疏逼近算法。训练集中的训练点构成一个子空间，当新的采样数据加 入时，首先投影到这个子空间中，计算得到该向量与子空间的距离。如果这 个距离大于某一预先设定的门槛值，则认为该数据含有新的信息，加入到训 练集中；反之则剔除。此外，还提出了删除一个数据点时在线l s s v m 的递 推算法。把增加数据的在线递推算法、稀疏逼近算法和减少数据的在线递推 算法结合起来，提出了任意地控制训练集规模的方法。所提出的算法被应用 于p h 中和过程，结果表明，所提出的算法在精度牺牲很小的情况下，可以大 大减少计算时间和减少内存。 4 针对非均匀分布的样本数据，提出了采用局部加权l s s v m 算法进行在线建 i i i 浙江大学博_ t 学位论文 模来提高预测精度。在每一个采样时刻，寻找与当前输入相类似的样本加入 训练集，训练得到当前时刻的模型，用来预测当前时刻的输出。为了区分训 练数据在训练中的重要程度，每个训练样本以不同的权值参与g t i 练，对每个 训练数据根据相似性指标定义了一个权值，与测试样本越接近的训练样本， 相应的权值就越大一些。所提出的算法应用在了p h 和过程和某炼油厂芳烃 异构化过程的仿真在线建模中，结果表明了算法在预测精度和时间上的优良 性能。 5 研究了多输n 多输出系统的在线l s s v m 算法以及相应的稀疏性问题，给出 了多变量l s s v m 算法，推导了多变量l s s v m 的参数递推公式，并且通过投 影方法实现了算法的稀疏性，从而使该算法能够在线应用。所提出的算法应 用于解决c 8 芳烃异构化装置的在线建模问题，取得了良好的效果。 6 提出了基于在线l s s v m 的广义预测控制算法。把l s 。s v m 在线算法应用到 广义预测控制中，解决其中的非线性建模问题。在每个采样周期，在线修 正l s s v m 模型以适应对象特性的变化，得到一个较为精确的预测输出，为 预测控制的控制精度的提高打下基础。得到的l s s v m 模型进行了线性化， 以适应广义预测控制算法实施的需要。基于l s s v m 在线算法的广义预测控 制应用在了p h 中和过程仿真控制中，结果表明了算法的有效性。 关键词：非线性建模；最小二乘支持向量机；预测控制；稀疏性；p i - i q ：, 和过 程；异构化 i v 摘要 a b s t r a c t t h ep r o b l e m so fn o n l i n e a rm o d e l i n ga n dp r e d i c t i v ec o n t r o ld e s i g nb a s e d0 1 1l e a s t s q u a r e ss u p p o r tv e c t o rm a c h i n e s ( l s s v m ) m e t h o da r em a i n l ys t u d i e di nt h i sd i s s e r t a t i o n t h em a i nc o n t e n t sa r eo u t l i n e da sf o l l o w s ， 1 am o d i f i e dl e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e s ( l s s v m ) a p p r o a c h ，w h i c ht r e a t s t h et r a i n i n gd a t ap o i n t sd i f f e r e n t l ya c c o r d i n gt ot h e i rd i f f e r e n t d e g r e e so fi m p o r t a n c e ， i sp r o p o s e d o ne a c hd a t ap o i n t , as u p p o r tv e c t o rd e g r e ei sd e f i n e da n di ti sa s s o c i a t e d w i t ht h ec o r r e s p o n d i n ga b s o l u t ev a l u eo fl a g r a n g em u l t i p l i e r t h ee x p e r i m e n to f i d e n t i f i c a t i o nf o rap hn e u t r a l i z a t i o np r o c e s si n d i c a t e st h ev a l i d i t yo ft h ep r e s e n t e d m e t h o d 2 ar e c u r s i v el e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e s ( r l s s v m ) a n dar e c u r s i v e f u z z yl s s v mm e t h o da l ep r o p o s e d 。b yr e c u r s i v e l yc a l c u l a t i n gt h ep a r a m e t e r so f i d e n t i f i e dm o d e l ，t h eh u g ec a l c u l a t i o no fm a t r i c e si n v e m i o n sc a nb ea v o i d e di nc a s e o ft h en u m b e ro ft r a i n i n gd a t ai n c r e a s e s t h ee x p e r i m e n to fo n l i n em o d e l i n gf o rap h n e u t r a l i z i n gp r o c e s ss h o w st h ev a l i d i t ya n de f f e c t i v e n e s so ft h ep r e s e n t e da l g o r i t h m s 3 as p a r s ea p p r o x i m a t i o na l g o r i t h r nb a s e do np r o j e c t i o ni sp r e s e n t e di no r d e rt oo v e r - c o m et h el i m i t a t i o no fn o n s p a r s i t yo f o n l i n el s s v m t h en e w i n p u t sa r ep r o j e c t e d i n t ot h es u b s p a c es p a n n e db yp r e v i o u sb a s i sv e c t o r s ( b v ) a n dt h o s ei n p u t sw h o s e s q u a r e dd i s t a n c ef r o mt h es u b s p a c ei sh i g h e rt h a nat h r e s h o l da r ea d d e di nt h eb v s e tw h i l eo t h e r sa r er e j e c t e d i na d d i t i o n ，ar e c u r s i v ea p p r o a c ht od e l e t i n ga ne x i t i n g v e c t o ri nt h eb vs e ti sp r o p o s e d t h e nas p a r s eo n l i n el s s v ma l g o r i t h m ，w h i c h c a l lc o n t r o lt h es i z eo fm e m o r yi r r e s p e c t i v eo ft h ep r o c e s s e dd a t as i z e ，i sp r e s e n t e d b a s e do nt h eo n l i n el s s v m ，s p a r s ea p p r o x i m a t i o na n db vr e m o v a l t h eo b t a i n e d a l g o r i t h mi sa p p l i e di nt h eo n l i n em o d e l i n go fap hn e u t r a l i z i n gp r o c e s s t h er e s u l t s v 浙江大学博士学位论文 s h o wt h a tt h ep r e s e n t e da l g o r i t h mc a l lg r e a t l yi m p r o v et h es p a r s i t yo nj u s tl i t t l ec o s t o fp r e c i s i o n 4 f o rn o n - u n i f o r m l yd i s t r i b u t e dt r a i n i n gd a t a , al o c a lw e i g h t e dl s s v mm e t h o df o r t h eo n l i n em o d e l i n go fc o n t i n u o u sp r o c e s si sp r o p o s e d a te a c hp e r i o d ，o n l yt h e s a m p l e ss i m i l a rt ot h ec u r r e n ti n p u ta r ea d d e di n t ot h et r a i n i n gs e t ，a n dt h eo b t a i n e d m o d e li sj u s tf o rp r e d i c t i n gt h ec u r r e n to u t p u t t od i s t i n g u i s ht h ei m p o r t a n c eo ft h e t r a i n i n gd a t a , w e i g h ti sd e f i n e dt oe a c hd a t aa c c o r d i n gt ot h ee u c l i d e a nd i s t a n c e s b e t w e e nt h et r a i n i n gd a t aa n dt e s t i n gd a t a i nt h i sw a y , t h et r a i n i n gd a t ap a r t i c i p a t e t h el e a r n i n ga td i f f e r e n tw e i g h t sa c c o r d i n gt ot h es i m i l a r i t yt ot h et e s t i n gd a t a t h e p r e s e n t e dl w - l s s v ma l g o r i t h mi sa p p l i e di nap hn e u t r a l i z a t i o np r o c e s sa n da n i s o m e r i z a t i o np r o c e s s ，r e s p e c t i v e l y t h er e s u l ts h o w st h ee x c e l l e n tp e r f o r m a n c eo f t h ep r e s e n t e da l g o r i t h mi np r e c i s i o na n dp r e d i c t i n gt i m e 5 t h em o d e l i n go fm u l t i v a r i a b l es y s t e m sb yl s s v mi ss t u d i e da n dt h ec o r r e s p o n d i n gs p a r s e n e s si sd i s c u s s e d t h es t a n d a r dl s s v m ，n o n s p a r s eo n l i n el s s v ma n d s p a r s eo n l i n el s s v mo fd i f f e r e n tt h r e s h o l da r es t u d i e di nt h em o d e l i n gf o rt h e i s o m e r i z a t i o no fc 8a r o m a t i c s t h er e s u l t si n d i c a t et h ef a v o r a b l ep e r f o r m a n c eo f m u l t i v a r i a b l es p a r s eo n l i n el s s v m 6 ag e n e r a l i z e dp r e d i c t i v ec o n t r o l ( g p c ) a l g o r i t h mb a s e do no n l i n el s s v mi sp r o 。 p o s e d t h eo n l i n el s s v ma l g o r i t h m i sa p p l i e di ng p ct od e a lw i t hn o n l i n e a rm o d - c l i n gp r o b l e m s a te a c hs a m p l i n gp e r i o d ，t h ea l g o r i t h mr e c u r s i v e l ym o d i f i e st h e m o d e lt oo b t a i nam o r ea c c u r a t ep r e d i c t i v eo u t p u t t h en o n l i n e a rl s s v mm o d e l i sl i n e a r e da te a c hs a m p l i n gp e r i o dt ot h ei m p l e m e n t a t i o no fg p c t h ee x p e r i m e n t s o fl s s v mb a s e dg p co np hn e u t r a l i z i n gp r o c e s ss h o wt h ee f f e c t i v e n e s sa n dp r a c t i c a l i t yo ft h ep r o p o s e da l g o r i t h m k e y w o r d s ：n o n l i n e a rm o d e l i n g , l e a s ts q u a r es u p p o r tv e c t o rm a c h i n e ，p r e d i c t i v e c o n t r o l ，s p a r s e n e s s ，p hn e u t r a l i z i n gp r o c e s s ，l s o m e r i z a t i o n v i 图目录 图目录 1 1 二维空间到三维空间的映射6 1 2 模型预测控制基本原理2 3 2 1 中和过程示意图3 2 2 2 3 0 0 组数据l s s v m i l 练结果3 3 2 3 3 0 0 组数据模糊l s s v m j i l 练结果3 4 2 4 1 5 0 组数据模糊l s s v m i l 练结果3 4 2 5 6 0 组数据模糊l s s v m 训练结果3 5 2 6 3 0 组数据模糊l s s v m 训练结果3 5 2 7 剪切数据量对模型性能的影响3 6 3 1 在线l s s v m 建模测试结果4 6 3 2 在线模糊l s s v m 建模测试结果4 7 3 3 l s s v m 离线算法的建模测试结果4 9 4 1 子空间投影示意图5 3 4 2 稀疏在线l s s v m 算法在p h 过程应用的结果6 l 4 3 非稀疏l s s v m 在线算法在p h 过程应用的结果6 2 4 4 稀疏在线模糊l s s v m 算法在p h 过程应用的结果6 4 4 5 非稀疏在线模糊l s s v m 算法在p h 过程应用的结果6 5 5 1 指数权l w - l s s v m 在p h 中和过程的仿真应用结果7 2 5 2 线性权l w - l s s v m 在p e e 和过程的仿真应用结果7 2 5 3 常数杈l w - l s s v m 在p l a d e 和过程的仿真应用结果7 3 5 4 全局l s s v m 在p h 中和过程的仿真应用结果7 3 5 5 全局l s s v m 在异构化装置中的仿真结果7 6 5 6 指数权l w - l s s v m 在异构化装置中的仿真结果7 6 i x 浙江大学博士学位论文 x 5 7 线性权l w - l s s v m 在异构化装置中的仿真结果，7 7 5 8 常数权l w - l s s v m 在异构化装置中的仿真结果，7 7 6 1 c 8 芳烃异构化装置的工艺流程图( 1 反应器r 3 0 12 加热炉f 3 0 13 换 热器e 3 0 14 冷凝器a 3 0 15 分离器v 3 0 16 精馏塔7 , 9 回流罐8 循环塔) 8 4 6 2 标准l s s v m 的预测输出曲线，8 7 6 3 非稀疏l s s v m 在线建模结果8 8 6 4 稀疏l s s v m ( e l o w = 0 0 5 ) 在线建模结果，8 8 7 1 l s s v m 在线建模g p c 算法在p h 过程预测控制中应用的结果9 9 7 2 模糊l s s v m 在线建模g p c 算法在p h 过程预测控制中应用的结果1 0 1 7 3 l s s v m 离线建模g p c 算法在p h 过程预测控制中应用的结果1 0 3 7 4 在线最小二乘建模g p c 算法在p h 过程预测控制中应用的结果1 0 4 表目录 表目录 2 1 模型中各参数取值3 2 2 2 不同训练集规模l s s v m 的比较3 6 3 1 不同i 鼻s v m 算法的比较4 8 4 1 稀疏和非稀疏l s s v m 在线算法的比较6 0 4 2 稀疏和非稀疏模糊l s s v m 在线算法的比较6 3 5 1 几种l s s v m 算法在p h 中和过程应用的数值比较，7 4 5 2 模型变量描述7 5 5 3几种l s s v m 算法在异构化装置中应用的数值比较。7 8 6 1 模型的输入输出变量8 6 6 2 三种l s s v m 方法的比较8 9 7 1r m s e 的比较，1 0 0 7 2 平均计算时间的比较，1 0 0 x 1 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究 成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得浙江大学或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 学位论文作者签名：夕多面皂瓠 签字日期：劲叩多年f 二月l 厂日 学位论文版权使用授权书 本学位论文作者完全了解浙江大学有权保留并向国家有关部门或机构送交 本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权浙江大学可以将学 位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：痞晶圣蠡 签字e t 期：础年2 月，厂日 导师签名： 签字日期：胂车fz 月旷e t 签字日期：2 呐年fz 月f1 致谢 致谢 本论文是我在浙江大学攻读博士学位期间学习和研究工作的系统总结。三年多 来的学习、研究和生活充实而愉快，这首先得益于先进控制研究所出色的师资、 便利的科研条件和良好的学术氛围。 感谢导师褚健教授，褚老师科技报国的崇高理念、奋发图强的精神、务实高效 的工作作风和敏锐的眼光给我留下了很深的印象，将激励我为实现自己的理想而自 强不息。 衷心感谢导师苏宏业教授的悉心指导。在论文选题和研究方法上，苏老师给了 很多宝贵建议，并以高度的耐心修改了攻读博士学位期间的所有论文和博士学位论 文。苏老师平易近人的学者风范、严谨细致的工作态度，在学术研究，实际工作 和为人处事中都给了我深深的启迪，令我终生难忘。 感谢先进控制研究所的王树青教授，吴俊教授、毛维杰教授、徐巍华副教授和 吴维敏副教授在学业上对我的指导和帮助。特别感谢先进控制研究所的古勇副研 究员对我研究思路上的点拨和指导。 衷心感谢南京工业大学自动化学院的领导给了我在浙江大学深造的机会，并对 我完成学业给予了许多的关照。特别感谢我的硕士导师赵英凯教授，他对工作的 认真负责和对学术的严谨求实对我产生了深远的影响。感谢南京工业大学自动化 学院全体同事给予我的鼓励和支持。 感谢浙江理工大学的高金凤博士，浙江大学低温工程研究所的何丽娟博士， 江苏大学的嵇小辅博士，华侨大学的罗继亮博士，辽宁石油化工大学的李奇安博 士后，南京航空航天大学的肖玲斐博士，杭州电子科技大学的邹洪波博士、余青 山博士，感谢同实验室的李幼凤博士、赵超博士、赵宇博士、陈贵博士、栗伟博 士、李修亮博士、苗宇博士、肖力墉博士和其他师弟师妹们，感谢他们对我生活 和学 - - j 上真诚无私的帮助和关心，与他们的讨论使我受益匪浅，与他们的朝夕相处 使我倍感大家庭的温暖。 浙江大学博士学位论文 本文的工作得到了国家创新研究群体科学基金项目“工业过程的控制理论 与总线技术及其应用研究( 6 0 7 2 1 0 6 2 ) ”、“国家高技术研究发展计划( 8 6 3 计 翅 2 0 0 6 a a 0 4 2 1 8 2 ) ”和“国家重点基础研究发展计划资助项目编号( 9 7 3 项 目2 0 0 7 c b 7 1 4 0 0 0 ) ”的资助，在此紧致谢忱。 谨以此文献给我亲爱的父母和家人。父母以勤劳朴实的双手培育我成长，在我 漫长的求学生涯中，始终在物质和精神上给予我无尽的关怀和鼓励。特别感谢丈 夫和公公的支持和理解，是他们默默地付出和牺牲，承担了生活的重担和照顾女儿 的责任，才使我有幸安心地完成学业。最后要感谢我的宝贝女儿，她的乖巧和懂 事给了我不断进取的动力和克服困难的勇气。 i i 绪论与综述 1 绪论与综述 1 1 研究背景 随着环境、安全、市场竞争的压力日益增加，现代工业过程必须不断优化操作 条件，提高产品质量，节约生产成本，建立新的生产装置，满足产品多元化需求， 才能在竞争中立于不败之地。为了达到这些目的，必然要对生产计划、调度、生产 过程进行优化控制，而大多数的优化控制是以过程模型为基础的。因此，建模技 术在现代工业生产中起着至关重要的作用，几乎遍及工业生产的每个环节。但是， 随着生产装置的大型化、复杂化，建模涉及到了对象的非线性、时变性、不确定 性、大时滞、强耦合等问题的困扰，难度也越来越高，常规的机理建模和线性建模 的方法难以满足工业发展的需求，学者和工程师们不断地研究解决新建模问题的 方法。 正是由于工业建模的重要性，过程建模技术是控制学科一个经久不衰的研究方 向，历来受到大量的关注1 1 - 3 】。文献1 1 】通过在化工厂现场采访1 6 位有经验的建模工 程师对同一个建模工程的经验，对当时的建模方法及商业建模软件进行了综述分 析，文献1 2 则从工程需求的角度系统地讲解了常用的建模理论及使用方法，最新 的关于建模方法的综述文章【3 】从模型开发和使用周期角度对现行的建模方法和建模 技术进行了世界范围的调查，讨论了生命周期和建模动机，建模用户，建模类型 和建模工具，模型质量，建模存在的障碍和风险等一系列问题。 总的来讲，建模方法可以分为三类1 4 1 ： ( 1 ) 机理建模 机理建模是利用系统质量、能量和动量守恒定律来建立对象的数学模型。机理 模型有它的优势，由于被结构和参数所约束，建立数学模型并不需要很多的过程数 据。而且，只要建立模型的假设条件成立，机理模型能够外推至整个操作范围， 这是基于数据的建模方法难以做到的。 但是，机理建模方式只适用于单个操作单元，或者简单的非线性动态模型， 浙江大学博士学位论文 对于大规模的工业过程或者内部机理不为人们掌握的控制对象而言，机理模型的建 立就非常困难，或者即使建立了模型，但模型表达非常复杂，会给以后控制器的 设计带来困难。另外，随着设备的老化或操作条件的变化，原先建立的机理模型就 不能提供良好的预测效果，需要重新建立数学模型。 ( 2 ) 实验建模 在实际应用中，很多过程内部机理不为人们所了解，或者对象的时变性比较 强，就不能用机理模型来表达，于是出现了从对象的实验数据来获取数学模型的方 法，这就是实验建模，也就是非线性对象的系统辨识。 由于机理建模的诸多限制，对非线性对象建模方法的研究大多是实验建模方法 的研究。主要内容包括模型的选择、数据的获取和模型验证三个方面的任务，对 非线性系统来说每项任务都是极富有挑战性的理论和实践课题。主要的研究方法有 最小二乘估计、极大似然等系统辨识方法，人工神经网络方法，模糊建模方法， 各种基于核的建模方法等。没有一个统一的理论能解决所有的非线性建模问题， 但是针对一些特殊的非线性系统已经有了一些研究成果，主要包括h a m m e r s t e i n 模 型、w i e n e r 模型、自回归滑动平均模型、v o l t e r r a 模型、多项式自回归滑动平均模 型等【5 1 。 相对于机理建模，实验建模有几个方面的优势： 不需要对过程对象有很详细的认识，这对于复杂的工业过程是非常有利的； 实验建模建立的对象模型多比较简单，不需要在线解复杂的非线性规划问 题； 对在线建模而言，当过程参数或操作条件变化时，可以较容易地通过新的数 据修正模型，保证其可靠性。 但是，实验建模也会由于数据的噪声污染等问题导致建立的模型泛化能力差， 进而影响控制精度。 ( 3 ) 混合建模 混合建模就是将机理建模和实验建模方法相结合的一种建模方法，通常是利用 实验数据来估计根据对象机理建立的模型的参数，或者根据对对象机理的了解， 确定对象的某些特性，进而对实验建模中模型的选择提供依据。 2 绪论与综述 在实验建模中，由于神经网络已经被证明能够逼近任意非线性函数，因此是研 究最广泛的一类建模方法，并且也取得了很大的进步，而且有些厂商已经提供了 神经网络建模的软件包旧。但是，神经网络的建模一直停留在理论仿真阶段，效果 很好的实际应用很少见到。神经网络的实际应用受到限制的主要原因是由于始终 不能解决其固有的缺陷： 网络结构的确定没有一定的依据，隐层的数目只能人为地确定； 神经网络的学习容易陷入局部极小点，得不到问题的最优解； 神经网络会出现训练误差过小会使推广能力下降的问题，也就是过学习问 题。 基于核的学习方法，如支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 、高斯 过程( g a u s s i a np r o c e s s ，g p ) 、正则化神经网络等，近十多年来在解决各种非线 性学习问题中取得了很大成功【7 1 ，其中发展最快的是支持向量机。支持向量机是 上个世纪9 0 年代发展起来的一种基于结构风险最小化的算法 8 , 9 1 ，最初应用于分类 问题，后来被推广到函数回归问题。对于非线性问题，支持向量机方法把输入空 间映射到某一高维空间，从而把原空间中的非线性问题转化为特征空间的线性问 题，由于在高维特征空间只需要作训练样本间的内积运算，因此计算的复杂度也 大大降低。另外，由于支持向量机求解的最优化问题是凸优化问题，得到的解是全 局最优解。同时支持向量机是基于结构风险最小化的原则，考虑了学习机器的推 广能力，因此较神经网络有良好的泛化性能。神经网络本质的缺陷始终没有实质性 的进展，而支持向量机具有良好的性能，一经出现就引起了学术界的广泛关注， 众多学者加入了支持向量机及其改进方法的研究，大有取代神经网络地位的趋势。 最小二乘支持向量机( l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e s ，l s s v m ) 是s u y k e n s 提出的一种改进的支持向量机【1 0 l ，它采用等式约束代替支持向量机 中不等式约束，通过求解一组等式方程得到了参数的解析解，从而避免了s v m 中 在对偶空间求解二次规划问题。正是由于l s s v m 求解的方便性，基于此产生了一 系列的理论和应用研究成果 1 1 - 1 6 1 。本论文就是以l s s v m 作为建模方法，研究其 在工业过程建模中产生的若干问题。 3 1 2 支持向量机回归理论 支持向量机理论是基于统计学习理论( v c 维理论) 发展起来的，v c 维理论 学习机器的一个重要特性就是对未知数据的泛化能力强。大多数传统方法都 是基于经验风险最小化原则，使训练误差达到最小；而s v m 则基于结构风险最 小化原则，最小化的是推广误差的上界，从而通过在模型的复杂性和训练误差 之间寻求平衡点，得到一个最优的网络结构，较好地解决了过学习和欠学习问 题。另外，s v m 的训练等价于一个线性约束二次规划问题，从而可以得到唯一的 全局最优解，而不像神经网络训练那样容易陷入局部极小点。正是由于上述优 点，s v m 在模式识别领域得到了广泛的应用【1 7 - 2 1 1 ，而且，近年来还被扩展应用到 了回归1 2 2 - 2 4 1 、时间序列预测【2 5 蜘、故障诊断1 2 8 - - 3 0 1 等方面。 1 2 1 再生核h i l b e r t 空间 再生核h i l b e f t 空间( r e p r o d u c i n gk e r n e lh i l b e r ts p a c e ，r k h s ) 是上世纪3 0 、4 0 年 代数学界的学者提出的【3 1 】，最初l 妇a m n s z a j n t 3 2 】引入并p a r z e n l 3 3 1 在1 9 6 1 年首次应 用于时间异列预测。 r k h s 的主要特性是函数的再生性，下面是文献【3 2 】中r k h s 的定义： 定义1 1 ：( 再生核h i l b e r t 空间，r k h s ) 假定集合e 上定义的一类函数f ，形成了 一个t l i l b e r t 空间( 复数或实数) 。如果函数k ( x ，z ) ( 其中z ，z e ) 满足 1 对任意z e ，其二次变量函数k ( z ，) 属- 于- f ； 2 对任意z e 和任意f f ，有 f ( x ) = 成立，则称g ( x ，z ) 为f 上的再生核。 r k h s 的其它特性【3 2 】如存在性、唯一性、叠加性、投影特性表明矩阵如全 k ( x i ，) 为半正定矩阵。而且，每个正定函数k ( 茁，z 7 ) a z 好唯一对应于一类具有 二次型形式的函数，形成了一+ h i l b e r t 空间，而k ( z ，z ) 就是它的再生核。 由 4 绪论与综述 于r k h s 函数的再生特性，有f 3 4 j k ( x ，名) = ( 1 2 ) r k h s 理论能够以一种非常简洁的形式来描述或证明优化问题的结论，集中起 来描述就是“表示定理” 定理1 1 ：( 表示定理【3 5 1 ) 令f 为e 上的实值函数形成的r k h s ，其再生核为k 。 设s 为训练集，令r 全 秽l ，秽，n ) 为集合e 上使矩阵秽力全仉( ) 有最大秩 的函数。那么，对于 ，o =a r g m i n r 。p i ，】+ 入1 1 丸l l 刍 ( 1 3 ) f e s p a n ( f ) + h , h e f 有 ，o s p a n ( pu k ( z l ，) ，k ( x n ，) ) ( 1 4 ) 这个定理表睨，对于任意目标函数，r k h s 中的优化展式是由训练数据形成 的基函数来定义的。正是基于此，支持向量的优化问题能够通过把输入数据映射 到r k h s 后形成基函数来表达。 由于r k h s 在数值计算方面的优势，适合处理和分析非线性问题，引起了国内 外学者的广泛关注，在近2 0 年来得到了迅速发展，并被应用于小波变换1 3 6 ，3 7 1 、时 间序列预测 3 8 , 3 9 1 、随机过程1 4 0 1 、信号处理【4 1 1 ，机器学习【8 9 1 等研究领域来解决实 际问题。 1 2 2 核技巧 支持向量机就是利用r k h s 框架，立足于解决现实世界中的机器学习问题。它 把原空间7 掣中的数据投影到高维的再生核特征空间z ，从而把原空间的非线性问 题巧妙地转换成了线性问题。下面我们来看s v m j t o 何解决这个问题的。 给定训练数据 o 是一个正标量函 数。如果碳m 维的回归函数空间磊，那么线性优化问题就是 ，= a r g m i n ( 玑一，( z i ) ) 2 ( 1 1 3 ) ，= 模型的性能跟