（控制理论与控制工程专业论文）基于支持向量机的混沌时间序列预测方法的研究.pdf

：!1一 e s i si nc o n t r o lt h e o r ya n dc o n t r o l e n g i n e e r i n g j i l f l lli iii i ij i j i ih i ii l i j i i y 18 4 13 4 7 r e s e a r c ho nc h a o t i ct i m es e r i e sp r e d i c t i o nm e t h o db a s e d o ns u p p o r tv e c t o rm a c h i n e s b yz h a oc h u n x i a o s u p e r v i s o r ：a s s o c i a t ep r o f e s s o rw a n gx i a o g a n g n o r t h e a s t e r nu n i v e r s i t y j u n e2 0 0 8 一，k 、 i 独创性声明 本人声明所呈交的学位论文是在导师的指导下完成的。论文中取得的 研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的 研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示诚挚 的谢意。 学位论文作者签名：茎多玺阢 日 期： 加吁纫多矿j 6 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 半年口一年口一年半口两年 学位论文作者签名：乏漆导师签名：a 卅弋膨) 签字日期：2 功务了同8 围签字日期：潮绎彻8 阂 j ，卜 ，j盏 1f q 7 l ， 一 ( 4 。 东北大学硕士学位论文 摘要， 基于支持向量机的混沌时间序列预测方法的研究 摘要 在科学、经济、工程等许多应用中都存在着在历史数据的基础上预测未来的问题。 时间序列预测是预测领域内的一个重要研究方向。它是一种根据历史数据构造时间序列 模型，再把模型外推来预测未来的一种方法。近年来，来自天文、水文、气象等领域如 太阳黑子、径流量、降雨量等时间序列都被发现含有混沌特性。面对自然和社会生产中 大量存在的混沌时间序列，传统的统计分析方法效果欠佳。支持向量机具有优良的非线 性特性，非常适合于混沌序列预测的研究。基于支持向量机的混沌时间序列预测的研究 是近几年来的研究热点，受到了特别的重视，本文对此作了较为系统深入的研究。 混沌是一个完全确定的系统中出现的一类随机过程的现象，是有序与无序的统一， 确定性与随机性的统一。近年来，作为一种新兴的研究非周期、复杂和不规则现象的方 法，混沌的引入为预测技术的研究注人了新的活力。 建立在统计学习理论和结构风险最小原则上的支持向量机在理论上保证了模型的 最大泛化能力，它将函数估计最终转化为二次规划问题，理论上可以得到最优解。因此 与建立在经验风险最小原则上的神经网络模型相比，理论上更为完善。 本文运用支持向量机建立时间序列预测模型，研究影响模型预测精度的相关参数， 在分析参数对时间序列预测精度的影响基础上，采用遗传算法优化预测模型参数，从而 获取最优参数。通过对太阳黑子时间序列和典型的混沌时间序列的预测，表明改进后的 方法具有很好的预测能力和抗噪声能力。 最后，用电解铜中铜酸浓度时间序列对本文方法进行了验证。电解铜中铜酸浓度具 有明显的混沌特性，本文分别进行了单步预测和多步预测。仿真试验表明，在此模型的 参数选取中，与现有某些方法相比，基于遗传算法获取模型参数的方法大大提高了支持 向量机对混沌时问序列的预测能力，也说明了支持向量机对混沌时间序列有比较强的拟 合能力和比较高的单步和多步预测精度。 关键词：混沌；时间序列预测；支持向量机；遗传算法 一i i t i t_il 东北大学硕士学位论文 r e s e a r c hc h a o t i ct i m es e r i e sp r e d i c t i o nm e t h o db a s e do n s u p p o r tv e c t o rm a c h i n e s a bs t r a c t t h e r ei sn od e n y i n gt h ef a c tt h a tt h em e t h o do fp r e d i c t i n gt h ef u t u r eb a s eo nh i s t o r i c a l d a t ai sc o m m o n l yu s e ds c i e n c e ，e c o n o m i ca n de n g i n e e r i n g t i m es e r i e sf o r e c a s t i n g ，w h i c h c o n s t r u c t st i m es e r i e sm o d e lo nt h eb a s i so fh i s t o r i c a ld a t aa n dt h e nu s et h em o d e lt of o r e c a s t t h ef u t u r e ，i sa ni m p o r t a n tr e s e a r c hd i r e c t i o ni nf o r e c a s t i n gr e s e a r c ha r e a a sf a ra sa s t r o n o m y , h y d r o l o g ya n dm e t e o r o l o g i c a lp h e n o m e n aa r ec o n c e r n e d ，m a n yt i m es e r i e ss u c ha ss u n - s p o t s ， a m o u n to fr u n o f f , r a i n f a l la m o u n tw e r ed i s c o v e r e da l li n c l u d i n gt h ec h a o t i cc h a r a c t e ri nr e c e n t y e a r i nt h ef a c eo fc h a o t i ct i m es e r i e sl a r g e l ye x i s t e di nn a t u r ea n ds o c i a le c o n o m i c a l p h e n o m e n a ，t h et r a d i t i o n a lm e t h o do fs t a t i s t i c a la n a l y s i sp e r f o r m e db a d l y s u p p o r tv e c t o r m a c h i n e sp o s s e s s e se x c e l l e n tn o n - l i n e a rc h a r a c t e r ，w h i c he n a b l e si tt ob ee x t r e m e l ys u i t a b l e t ot h ef o r e c a s t i n gr e s e a r c hi sc h a o t i ca r r a y b a s e do ns u p p o r tv e c t o rm a c h i n e sa n dc h a o t i c t h e o r y , t h ef o r e c a s t i n gr e s e a r c hh a sb e c o m er e s e a r c hh o ts p o ta n dr e c e i v e ds p e c i a la t t e n t i o na t p r e s e n t t h i sd i s s e r t a t i o nh a sd o n es y s t e m a t i ca n dt h o r o u g hr e s e a r c ho nt h ea b o v em e n t i o n e d p r o b l e m c h a o si sac l a s so fr a n d o mp r o c e s sp h e n o m e n o n ，w h i c ha p p e a r e di nac o m p l e t e l y d e t e r m i n ed s y s t e m i ti su n i f i c a t i o no fo r d e r e da n dd i s o r d e r ，d e t e r m i n i s t i ca n dr a n d o m n e s s r e n c e n t l yy e a r s ，i ti san e ws t u d yo fn o n - c y c l e ，c o m p l e xa n di r r e g u l a rp h e n o m e n o no fm e t h o d c h a o sp r e d i c t i o no fi n j e c t sn e wv i t a l i t y f o rt h e p r e d i c t i o nt e c h n o l o g y s u p p o r tv e c t o rm a c h i n e ( s v m ) i sb a s e do ns t a t i s t i c a ll e a r n i n gt h e o r y ( s l t ) a n d s t r u c t u r a lr i s km i n i m i z a t i o np r i n c i p l e ( s r m ) ，a n dt h e o r e t i c a l l ya s s u r e st h eb e s tm o d e l g e n e r a l i z a t i o n i tc h a n g e df u n c t i o ne s t i m a t i o nt oq u a d r a t i cp r o g r a m ，s oi tc a ng e tt h eo p t i m a l s o l u t i o ni nt h e o r y t h e r e f o r e ，i ti sm o r ep e r f e c ti nt h e o r yt h a na r t i f i c i a ln e u r a ln e t w o r k ( a n n ) t h a ti sb a s e do ne m p i r i c a lr i s km i n i m i z a t i o np r i n c i p l et e r m ) i nt h i sp a p e r ，s v mi su s e dt oe s t a b l i s ht i m es e r i e sf o r e c a s t i n gm o d e l ，s t u d yt h e p a r a m e t e r st h a ti n f l u e n c ef o r e c a s t i n ga c c u r a c y o nt h eb a s i so fa n a l y z i n gm o d e lp a r a m e t e r s i n f l u e n c e ，as e l f - a d a p t i v eo p t i m i z i n ga l g o r i t h mf o re s t a b l i s h i n gt h em o d e lp a r a m e t e r sb a s e d o ng e n e t i ca l g o r i t h mi sp u tf o r w a r d t h r o u g hp r e d i c t i n gt h es u n s p o tt i m es e r i e sa n dt a p i c a l c h a o s t i ct i m es e r i e s ，i tp r o v e dt h a tt h em e t h o dh a sg o o dp r e d i c t i o nc a p a b i l i t ya n da n t i - n o i s e c a p a b i l i t y f i n a l l y , t h em e t h o di sp r o b e db yp r e d i c t i n gt h ec u p r i ca n da c i dt i m es e r i e s t h ec u p r i ca n d a c i dc o n c e n t r a t i o n sa r es i n g l es t e pa n dm u l t i s t e pp r e d i c t e db yt h em e t h o di n t r o d u c e di nt h e d i s s e r t a t i o n i ti sp r o v e dt h a ta m o n gt h em e t h o d so fs e l e c t i n gt h ep a r a m e t e r s ，t h eo n eb a s e do n i i i 东北大学硕士学位垒查 垒! 塑竺 二- 。一一 g e n e t i ca l g o r i t h mg r e a t l yi m p r o v e dt h ep r e d i t i o na b i l i t yt oc h a o t i ct i m es e r i e s i t a l s o p r o v e dt h a ts v m h a sb e t t e rf i t t i n ga b i l i t ya n dp r e d i c t i o na c c u r a c yt oc h a o t i ct i m es e r i e s k e yw o r d s ：c h a o s ；t i m es e r i e sp r e d i c t i o n ；s u p p o r tv e c t o rm a c h i n e ；g e n e t i ca l g o r i t h m 一一 i f 多i i 东北大学硕士学位论文目录 目录 独创性声明i 摘要。i i a bs t r a c t i i i 第l 章绪论1 1 1 选题的背景及意义1 1 2 混沌时间序列预测研究现状3 1 3 支持向量机研究现状5 1 4 本文的主要工作及结构安排7 第2 章统计学习和支持向量机理论9 2 1 支持向量机的发展历程9 2 2 统计学习介绍9 2 2 1 机器学习和经验风险1 0 2 2 2 推广性的界和v c 维1 1 2 2 3 结构风险最小化13 2 3 支持向量机理论15 2 3 1 支持向量机的分类理论1 5 2 3 2 支持向量机的回归理论1 6 2 3 3 核函数1 9 2 3 4 支持向量机的参数选取的方法2 0 2 4 本章小节2 0 第3 章混沌时间序列预测2 3 3 1 混沌理论2 3 3 1 1 混沌的定义2 3 3 1 2 混沌的特性2 3 3 2 混沌时间序列的鉴定2 4 3 2 1 定性分析方法2 4 3 2 2 定量分析方法2 5 3 3 相空间的重构理论基础和方法2 6 一v 一 东北大学硕士学位论文 目录 3 3 1 相空间的重构理论2 6 3 3 2 相空间重构的参数选取方法，2 7 3 4 混沌时间序列预测步骤3 1 3 5 本章小节3 2 第4 章基于s v m 的混沌时间序列预测3 3 4 1 数据处理和预测精度评价3 3 4 1 1 数据处理3 3 4 1 2 预测精度评价3 3 4 2 基于s v m 对混沌时间序列的预测模型的建立3 4 4 3 预测模型参数分析3 5 4 3 1 理论分析3 5 4 3 2 仿真验证3 7 4 4 基于遗传算法对预测模型的优化3 9 4 4 1 遗传算法简介：3 9 4 4 - 2 模型参数优化4 0 4 5 仿真实验4 l 4 5 1 太阳黑子数的预测4 2 4 5 2 典型混沌时间序列的预测4 3 4 6 本章小节4 6 第5 章电解铜中铜酸浓度的预测4 7 5 1 电解铜中铜酸浓度的预测的重要性和可行性4 7 5 1 1 铜酸浓度对电解铜的质量的影响4 7 5 1 2 铜酸浓度预测的可行性分析4 7 5 2 数据的处理和相空间的重构4 8 5 2 1 数据的平滑4 8 5 2 2 相空间的重构5 0 5 3 铜酸浓度时间序列的单步预测5 0 5 3 1 单步预测模型的建立5 1 5 3 。2 仿真试验5 1 5 4 铜酸浓度时间序列的多步预测。5 4 5 4 1 多步预测模型的建立j 5 4 5 4 2 仿真试验5 4 5 5 本章小节5 7 第6 章结论与展望5 9 一v i 一 l ，。 t 东北大学硕士学位论文 目录 6 1 本文工作总结5 9 6 2 展望。：。：5 9 参考文献6 1 致谢6 5 一v i i ， ： 1 l 东北大学硕士学位论文第1 章绪论 第1 章绪论 1 1 选题的背景及意义 非线性科学是一门研究非线性现象共性的基础科学，它是2 0 世纪6 0 年代以来，在 各门以非线性为特征的分支学科的基础上逐步发展起来的综合性学科，被誉为2 0 世纪 自然科学的“第三次大革命【l j 。一般认为非线性科学主要包括混沌、分形和孤子。自 1 9 7 5 年，l i y o r k 提出“c h a o s ”混沌以来【2 】，混沌动力学得到迅速发展，已经成为内容 极其丰富、应用极其广泛的领域。 所谓混沌就是指在确定性系统中出现的一种貌似无规则的、类似随机的现象。它普 遍存在于自然界及人类社会中，是有序与无序的统一，确定性与随机性的统一，具有对 初始值的敏感依赖性，即所谓“蝴蝶效应 【3 j 。混沌研究突出了一些新问题，它向传统 的科学突出了挑战。如“决定论非周期流 及确定性系统中有时会出现随机行为，这一 论点打破了拉普拉斯决定论的经典理论，以致于连根深蒂固的牛顿力学也收到了它的冲 击【们。美国数学家彭家莱( p o i n c a r e ) 及洛伦滋( l o r e n z ) 的发现表明【3 ，5 】，在复杂性面前，牛 顿力学也是无能为力的，从而拉开了混沌研究的序幕，是混沌的研究成果给自然界的一 些最基本概念注入了新的含义。混沌是二十世纪最重要的科学发现之一，被誉为继相对 论和量子力学之外的第三次物理革命，它揭示了自然界及人类社会中普遍存在的复杂 性。 随着混沌理论的不断发展，混沌时间序列的混沌特性鉴别、混沌时间序列预测与混 沌同步、控制逐渐成为混沌信号处理及应用中的研究重点。除频闪采样法、庞加莱截面 法和谱分析法 6 】三种理论的混沌特性鉴别方法外，人们又提出了关联维法【7 】、最大李亚 谱诺夫指数法【8 】、k o l m o g o r o v 嫡法【9 1 、非线性预测法【1 0 1 、替代数据澍1 1 】和非线性冗余法 【1 2 】的数值混沌特性鉴别方法，这些方法为从实际观察时间序列中发现混沌特性提供了依 据。由于对初始值的敏感依赖性使得混沌具有长期不可预测1 生 1 , 4 , 5 , 1 3 - 1 5 1 ，但随着人们对 混沌研究的不断深入，发现混沌系统运动轨迹短期内的较小发散使得利用观察资料进行 短期预测是可行的【l6 1 ，经过近二十多年的不懈努力，人们在混沌时间序列的预测方法上 也取得了很多理论成果，到目前为止提出了很多混沌时间序列的预测方法，大致可分为 全局预测法、局域预测法和非线性自适应预测法及神经网络预测法等。而全局预测法又 分为全局多项式建模预测、神经网络建模预测，以及近年发展的基于统计学习理论的支 持向量机预测法等；局域预测法分为局域线性预测与局域非线性预测；非线性自适应预 测法分为基于级数展式的自适应多项式滤波预测和基于非线性函数变换的非线性自适 应滤波预测：支持向量机预测法又可以分为最小二乘支持向量机预测，v - s v m 预测， 一】一 东北大学硕士学位论文 第1 章绪论 w - s v m ，模糊支持向量机预测法等。目前为止，人们己经提出了多种全局多项式预测 模型，不同的多项式预测模型其预测能力是与它们的非线性表达能力密切相关的，不过。 全局多项式预测模型在相空间轨迹比较复杂时却难以做出准确的预测。神经网络由于其 强大非线性逼近能力，已被很多学者用来研究混沌时间序列的预测问题，如：径向基神 经网络、小波神经网络、循环神经网络、模糊神经网络、自组织神经网络等。但神经网 络预测法随着算法和结构的不同，预测性能会存在很大差异，同时存在局部最小点和算 法复杂性的问题，也会给实际工程实现带来了很大的困难。相对于全局预测法来说，局 域预测法在多数情况下都是可行的。为了进一步提高预测的精度和抗噪能力，b a d e l a e 等人和d u d n a isa 分别提出了指数加权预测法和距离加权预测法，大量的数值实验和应 用结果表明这两种加权预测法的预测性能以及抗噪声性能明显好于局域零阶以及均值 预测法。张家树、肖先赐等人首次将自适应预测技术应用到混沌信号的预测中，创建了 混沌信号非线性自适应预测技术的初步框架，并提出了多种非线性自适应预测模型及其 自适应算法、分析了其预测性能。然而无论是全局预测法、局域预测法还是非线性自适 应预测都是基于经验风险最小化原则，本质上决定了在有限样本情况下学习精度和推广 性之间的矛盾难以得到调和，如神经网络由于表达非线性的分布特征，其参数空间较大， 存在较多的局域极小点，使其跟踪能力较弱，其他预测方法在有限样本情况下，同样无 法保证经验风险最小化学习过程的一致性；再者，混沌理论表明对混沌的长期行为不可 能做出准确预测，只能进行较为精确的短期预测，又从工程应用来看，也没有必要进行 需要较多数据和占用较长训练时间的建模方式来实施预测，而基于统计学习理论的支持 向量机正是针对小样本机器学习提出的方法，可以避免训练的效率、测试的效率、过拟 合及算法参数调节等困难，为此，近年来发展了基于支持向量机的混沌时间序列预测方 法，并取得了成功的应用。 ， 支持向量机( s v m ) 是上世纪9 0 年代中期提出的一种机器学习算法，其理论基础是 v a p n i k 等提出的统计学习理论，该理论采用风险最小化原则，在最小化样本点误差的同 时，缩小模型复杂度，即减小模型泛化误差的上界，从而提高模型的泛化能力。为了进 一步降低算法的复杂性，一些基于线性规划的支持向量机算法被提出，如：最小二乘支 持向量机【1 7 】，实验表明线性规划支持向量机在保持较好推广能力的前提下，算法复杂度 大大降低。 因此，选择混沌预测理论及支持向量机预测方法在混沌序列预测中的应用作为本文 的研究课题，本文不但解决了混沌时间序列预测中存在的一些问题，而且结合经典的遗 传算法，对预测的模型进行了优化，取得了很好的效果。作为应用，对铜电解中铜酸浓 度的时间序列进行了预测仿真，结果表明预测的精度高，为混沌序列的预测提供了新的 途径，不仅具有重要的学术意义，也具有重要的工程应用价值。 一2 一 一 东北大学硕士学位论文第1 章绪论 电解铜系统是一个非线性系统，并表现出一定的混沌行为。通过对铜酸浓度时间序 一列的混沌分析和对表征混沌特性的最大l y a p u n o v 指数的计算结果，发现铜酸浓度时间 序列不是随机序列，而是混沌时间序列，使我们对铜酸浓度序列的复杂性有了新的认识， 并应用支持向量机对铜酸浓度进行预测。 41 2 混沌时间序列预测研究现状 幅混沌时间序列预测是混沌理论的一个重要应用领域和研究热点，它不仅可以用来确 辱 定动力学系统模型，检测和识别混沌，而且还被广泛应用于自然科学和社会科学的各个 领域，如：电子对抗、水文预报、图像处理、冰川期预测、太阳黑子和股票行情等的预 测中，具有很重要的实际应用价值和重要意义。 由于混沌的初始极端敏感性，使得对混沌的长期预测是不可能，同时量子力学也表 明，初始测量永远是不准确的，而混沌又使得这一不确定性迅速增长到在宏观尺度上完 全不可预测的程度。但另一方面，混沌现象固有的确定性表明许多随机现象实际上比过 去想象的更容易预测。混沌理论仿佛双刃之剑，对预测的影响是两方面的。它表明即使 近似的长期预测也是不可能的，但短期内却可能做到准确的预测，混沌理论在确定性系 统和随机过程之间架起一座桥梁，为认识发展的规律，预见其未来发展的状态行为，提 供了新的思想和方法。 1 9 8 0 年，p a c k a r d 18 1 ，提出时间序列的相空间技术，1 9 8 1 年，t a k e n s t l 9 1 根据w h i t n e y 早期在拓扑学方面的工作，提出了相空间重构理论。最初提出相空间重构的目的在于从 高维相空间中恢复混沌吸引子，而混沌吸引子作为混沌系统的特征之一，体现着混沌系 统的规律，意味着混沌系统最终会落入某一特定轨迹中，这种特定的轨迹就是混沌吸引 子。同时，认为混沌动力学系统任一分量的演化都是由与之相互作用着的其它分量所决 定的，因此，这些相关分量的信息就隐含在任一分量的发展过程中。通过延迟坐标相空 间重构，可重构出观测到的动力学系统的相空间，这对于那些不能直接测量的深层的自 变量而仅仅知道一组单变量的混沌时间序列来说，提供了研究其动力行为的可能。 ：t a k e n s 证明了可以找到个合适的嵌入维数，即如果延迟坐标的维数m 2 d + 1 ，其中 d 是动力学系统的维数，那么在这个相空间中可以把有规律的吸引子轨迹恢复出来。延 迟时间重构的相空间，保持了原有系统的几何结构，同原系统是拓扑等价的，如果原系 统的奇异吸引子存在，则其动力学形态如分形维数、最大李亚谱诺夫指数等都可以保持 不变。基于p a r k a r d 延迟的t a k e n s 相空间重构定理，将混沌理论引入到非线性时间序列 分析中，为混沌时间序列的预测奠定了坚实的理论基础。 经过二十多年的不断探索，人们己经在混沌时间序列预测领域取得了很多重要的理 论研究成果。从方法学的角度来看，这些预测方法可分为：点预测法和区间预测法。其 一3 一 东北大学硕士学位论文第1 章绪论 中点预测法又分为：全局预测法【2 0 1 、局域预测法川和非线性自适应预测法 2 2 1 。目前为 止，人们己经提出了多种全局多项式预测模型，而不同的多项式预测模型其预测能力是 与它们的非线性表达能力密切相关的，但当相空间轨迹比较复杂时却难以做出准确的预 测。由于神经网络的强大非线性逼近能力，己被很多学者用来研究混沌时间序列的预测 问题。自从l e p e d e s 和f a r b e r 在1 9 8 7 年首先展示了时延输入的多层感知器能够用于一 个混沌时间序列的预测以来，人们己经提出并研究了多种神经网络来预测混沌时间序列 诸如：双线性神经网络网络 2 3 】、概率神经网络【2 4 】、时延神经网络 2 5 , 2 6 1 等等。全局多项式 建模预测法在理论上是可行的，可由于全局预测方法的建模过程必须采用离线方式，当 嵌入维数很高或者系统很复杂的时候，该方法并不容易实现且难以做出准确预测；而神 经网络预测法随着算法和结构的不同，预测性能会存在很大差异，同时存在局部最小点 和算法复杂性的问题，也会给实际工程实现带来了很大的困难。 局域预测法是将相空间轨迹的最后一点作为中心点，把离中心点最近的若干轨迹点 作为相关点，然后对这些相关点作出拟合，再估计轨迹下一点的走向，最后从预测出的 轨迹点的坐标中分离出所需要的预测值，相对于全局预测法来说，局域预测法在多数情 况下都是可行的。但零阶预测法和均值预测法，在找到中心点的邻域后，便将领域中的 一个或几个点进行拟合，没有考虑邻域中各点与中心点之间空间距离对其预测的影响， 而相空间中各点与中心点之间的空间距离是一个非常重要的参数，预测的准确性往往取 决于与中心点的空间距离最近的那几个点。因此，将中心点的空间距离作为一拟合参数 引入预测过程中，在一定程度上可以提高预测的精度，并有一定的抗噪能力，b a d e l a e 等人和d u d n a i s a 分别提出了指数加权预侧法和距离加权预测法，大量的数值实验和应 用结果表明这两种加权预测法的预测性能以及抗噪声性能明显好于局域零阶以及均值 预测法。 v s p n i k 等在1 9 9 5 年【2 7 】提出了一种新型统计学习方法一支持向量机，支持向量机 s v m ( s u p p o r tv e c t o rm a c h i n e s ) 是在统计学习理论基础上发展起来的一种新的机器学习方 法。支持向量机又称为支持向量网络，具有理论完备、适应性强、全局优化、训练时间 短、泛化性能好等优点，已经成为目前国际、国内研究的热点。支持向量机通过寻求结 构化风险最小，实现经验风险和置信范围的最小化，即在最小化样本点误差的同时，缩 小模型的复杂度，从而提高了模型的泛化能力，正由于支持向量机具有完备的统计学习 理论基础和出色的学习性能故在模式识别、时间序列预测、概率密度估计等领域得到了 广泛的应用，较多的是研究支持向量机在金融时间序列预测方面的运用及在化学统计学 方面的应用等【2 8 】，m u k h e r j e e 等人【2 9 1 研究了支持向量机在混沌时间序列预测方面的应用。 总之，局域预测法由其柔韧性好、拟合速度快和运算精度高而受到人们的普遍关注； 同时，非线性自适应预测法相比于全局预测法和局域预测法在工程应用中具有更多的优 一4 一 - ， 一 - h ， 东北大学硕士学位论文第1 章绪论 点如自动跟踪、实时性好等也同样受到了人们的关注，成为近年来研究的熟点。但是， 目前高于一阶的局域预测法因其待定参数多且其预测性能相比一阶局域预测法并没有 显著的提高而很少得到应用；同时，局域一阶预测法都是利用最小二乘法则来确定待定 参数的，当系数矩阵为病态矩阵时，预测精度会大大受到影响，成为制约局域一阶预测 法得到广泛应用的重要因素。而目前已有的非线性自适应预测法由其存在大量的非线性 藕合项和待定系数，随着滤波器的阶数或记忆单元m 增大，滤波器的滤波系数将按幂次 快速增加，同时，许多非独立项的存在也造成用现有的线性自适应算法调整滤波器的系 数是控制参数选择困难，减少滤波器实现复杂性的一种可能办法是尽可能减少滤波器的 非线性乘积耦合项。近年来人们按照这一原则，已经提出了多种近似实现结构，不过这 些方法虽然能够降低计算复杂性，但由于这些预测器的滤波系数与输出之间的线性关系 己不存在，导致其自适应存在稳定性、收敛到局部极值而非全局最优等问题。 基于支持向量机方法的回归估计以可控制的精度逼近任一非线性函数，同具有良好 的泛化能力等优越性能得到很好的应用。随着统计学习理论的发展m u k h e r j e e 等【2 9 】人较 早地研究了支持向量机在混沌时间序列预测方面的应用，他们通过实验表明支持向量机 相比传统的预测方法具有更佳的预测性能，但是只是针对某一个混沌时间序列和某种核 函数的预测进行了讨论，国内崔万照、孙德山、叶美盈等人也作了相关的研究工作。在 本文应用了支持向量机对混沌时间序列进行预测，并采用遗传算法对模型的参数进行了 优化，经过仿真试验证明得到了很好的效果。 1 3 支持向量机研究现状 基于数据的机器学习问题是现代智能技术的重要方面，研究从观测数据( 样本) 出发 寻找规律，利用这些规律对未来数据或无法观测的数据进行预测，包括模式识别、神经 网络等在内，现有机器学习方法共同的重要理论基础之一是统计学。传统统计学研究的 是样本数目趋于无穷大时的渐近理论，现有学习方法也多是基于此假设，但在实际问题 中，样本数往往是有限的，因此一些理论上很优秀的学习方法实际中表现却可能不尽人 意。与传统统计学相比，统计学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y 或s l t ) 是一种专门研 究小样本情况下机器学习规律的理论。vv a p n i k 等【2 7 】人从六、七十年代开始致力于此方 面研究，到九十年代中期，随着其理论的不断发展和成熟，也由于神经网络等学习方法 在理论上缺乏实质性进展，统计学习理论开始受到越来越广泛的重视。统计学习理论是 建立在一套较坚实的理论基础之上的，为解决有限样本学习问题提供了一个统一的框 架。它能将很多现有方法纳入其中，有望帮助解决许多原来难以解决的问题( 比如神经 网络结构选择问题、局部极小点问题等) ，同时，在这一理论基础上发展了一种新的通 用学习方法一支持向量机( s u p p o r tv e c t o rm a c h i n e s 或s v m ) 。19 6 3 年，v v a p n i k 等人提 一5 一 东北大学硕士学位论文第1 章绪论 出支持向量方法原型；1 9 7 1 年，v v a p n i k 和a c h e r b o n e n k i s 在“t h en e c e s s a r ya n d s u f f i c i e n tc o n d i t i o n sf o rt h eu n i f o r m sc o n b e r g e n c eo fa v e r a g e st oe x p e c t e dv a l u e ”一文 中，提出了s v m 的重要理论基础l v c 维理论，k i m e l d o r f 用s v 的核空间解决非线性 问题；1 9 8 2 年，在：“e s t i m a t i o n so f d e p e n d e n c e sb a s e do ne m p i r i c a ld a t a 一书中，v v a p n i k 进一步提出了具有划时代意义的结构风险最小化原理，堪称s v m 算法的基石；1 9 9 2 年， b o s o r , g u y o n a n dv a p n i k 在“at r a i n i n ga l g o r i t h mf o ro p t i m a lm a r g i nc l a s s i f i e r s ”一书中， 提出了最优边界分类器；1 9 9 3 年，c o r t e s 和v a p n i k 在“t h es o f tm a r g i n 进一步探讨 了非线性最优边界的分类问题( c o r t e s ，1 9 9 3 ) ；1 9 9 5 年，v a p n i k 在“t h en a t u r eo f s t a t i s t i c a l l e a r n i n gt h e o r y ”一书中完整地提出了s v m 分类，系统描述了统计学习理论；2 0 0 0 年， s c h o l k o p h 和s m o l a 提出了v - s v m 方法；2 0 0 2 年基于正则化思想在标准支持向量机的 基础上提出了最小二乘支持向量机。另外许多学者在研究一些新型的支持向量机如加权 支持向量机【2 8 1 及模糊、粗糙集支持向量机【3 0 1 等。支持向量机( s v m ) ，其与传统机器学习 理论最大的不同在于它服从结构风险最小化原理而非经验风险最小化原理。关于s v m 的深入的研究近几年才开始，支持向量机是机器学习领域若干标准技术的集大成者。他 集成了最大间隔超平面、m e r c e r 核、凸二次规划、稀疏解和松弛变量等多项技术，在若 干挑战性的应用中，获得了目前为止最好的性能。在美国科学杂志上，支持向量机以及 核学习方法被认为是“机器学习领域非常流行的方法和成功例子，并是一个十分令人瞩 目的发展方向 。它已初步表现出很多优于己有方法的性能，一些学者认为，s t l 和s v m 正在成为继神经网络研究之后新的研究热点，并将有力地推动机器学习理论和技术的发 展。 统计学习理论就是研究小样本统计估计和预测的理论，主要内容包括四个方面： ( 1 ) 经验风险最小化准则下统计学习一致性的条件； ( 2 ) 在这些条件下关于统计学习方法推广性的界的结论： ( 3 ) 在这些界的基础上建立的小样本归纳推理准则； ( 4 ) 实现新的准则的实际方法( 算法) 。 其中，最有指导性的理论结果是推广性的界，与此相关的一个核心概念是v c 维。 为了研究学习过程一致收敛的速度和推广性，统计学习理论定义了一系列有关函数集学 习性能的指标，其中最重要的就是v c 维( v a p n i k c h e r v o n e n k i sd i m e n s i o n ) ，v c 维反映 了函数集的学习能力，v c 维越大则学习机器越复杂。遗憾的是，目前尚没有通用的关 于任意函数集v c 维计算的理论，只对一些特殊的函数集知道其v c 维。对于一些比较 复杂的学习机器( 如神经网络) ，其v c 维除了与函数集( 神经网结构) 有关外，还受学习算 法等的影响，其确定更加困难。对于给定的学习函数集，如何计算其v c 维是当前统计 学习理论中有待研究的一个问题。 一6 一 l 穸 羹 东北大学硕士学位论文第1 章绪论 由于支持矢量机具有完备的统计学习理论基础和出色的学习性能，目前s v m 的研 究在国内外正处在热潮，v v a p i n k 对统计学习理论及s v m 的研究做了开拓性的工作， b s c h o l k o p f , j s h a w e t a y l o r ，d a m c a l l e s t e r ，r h e r b r i c h