（检测技术与自动化装置专业论文）基于支持向量机的非线性时间序列预测方法研究.pdf

摘要 一 摘要 基于时间序列模型的预测作为定量预测的主要方法，在实际中的应用几乎遍及预报 活动的所有领域。传统的时间序列建模主要针对线性或弱非线性时间序列，但是面对现 实生活中大量的复杂非线性时间序列( 甚至混沌) 时则显得力不从心。基于统计学习理 论的支持向量机是一种新型的学习方法，它采用结构风险最小化原则，为解决小样本、 非线性、高维数等学习问题提供了一个框架。近年来，支持向量机已开始应用于非线性 时间序列预测中。本文以提高支持向量机预测模型的精度为主要目的，研究了非线性时 间序列的降噪、非平稳化处理和模型参数优化等问题。 局部投影降噪算法已广泛应用于非线性时间序列的分析中，但其邻域选取具有主观 性，严重影响到降噪的性能。本文研究了一种按照自适应方式选取邻域大小的局部投影 降噪算法。首先用时间延迟方法将一维时问序列重构到高维相空间。然后逐步增大每个 待分析相点的领域大小，在领域最大主方向变化过程中，自适应地确定该相点的最优领 域。最后再用局部几何投影的方法去除噪声成分。实验结果表明，自适应邻域选取方法， 提高了局部投影算法的降噪能力。 非平稳时间序列具有一定的周期性和随机性的，难以用单一的方法进行精确的预 测。本文提出将经验模式分解( e m d ) 和最小二乘支持向量机( l s s v m ) 相结合的预 测方法。首先，运用e m d 将趋势时间序列自适应地分解成一系列不同尺度的本征模式 分量；其次，对每个本征模式分量，采用合适的核函数和超参数构造不同的l s s v m 进 行预测；最后对各分量的预测值进行拟合得到最终的预测值。并将此方法成功应用于机 械振动非平稳趋势序列的预测。 重构相空间和支持向量机的参数优化是提高预测性能的两个重要方面，传统上这两 个问题是分开解决的。本文提出采用混合粒子群算法实现二者的联合优化。联合优化方 法融合了离散粒子群和实数值粒子群算法，同时对空间重构的参数和支持向量机的参数 设置进行优化。仿真试验表明，此方法可以提高预测精度。 关键词：非线性时间序列预测，支持向量机，局部投影，自适应邻域选取，经验模 态分解，混合粒子群算法，重构相空间，联合优化 a b s t r a c t a b s t r a c t a st h em a i nt e c h n i q u eo ft h eq u a n t i t a t i v ef o r e c a s t ，t h em e t h o do f t i m es e r i e sp r e d i c t i o ni s u s e da l m o s ti na l lf i e l d so ff o r e c a s t t h et r a d i t i o n a lm e t h o d so ft i m es e r i e sp r e d i c t i o nm a i n l y f o c u so nl i n e a rt i m es e r i e sa n dw e a kn o n l i n e a rt i m es e r i e s ，s ot h e yl a c ke f f e c t i v e n e s sw h e n t h e yf a c ec o m p l e xn o n l i n e a rt i m es e r i e s ( e v e nc h a o st i m es e r i e s ) s u p p o r tv e c t o rm a c h i n e ( s v m ) i sak i n do fn o v e lm a c h i n el e a r n i n gm e t h o d s ，t h e o r e t i c a l l yb a s e do ns t a t i s t i cl e a r n i n g t h e o r y i te m p l o y st h ec r i t e r i ao fs t r u c t u r a lr i s km i n i m i z a t i o na n dp r o v i d e saf r a m e w o r kf o r t h es m a l ls a m p l e s ，n o n l i n e a r i t ya n dh i g hd i m e n s i o np r o b l e m s s v mh a sb e e na p p l i e di n n o n l i n e a rt i m es e d e sp r e d i c t i o ni nr e c e n ty e a r s f o c u s i n go nr a i s i n ga c c u r a c yo fs v m p r e d i c t i o nm o d e l ，t h i sp a p e rs t u d i e sn o i s e r e d u c t i o n ，n o n - s t a t i o n a r yp r o c e s s i n ga n dm o d e l p a r a m e t e r so p t i m i z a t i o no f n o n l i n e a rt i m es e r i e s a l t h o u g l lw i d e l ya p p l i e di nn o n l i n e a rt i m es e r i e sa n a l y s i s ，t h en o i s er e d u c t i o nm e t h o d v i al o c a lp r o j e c t i o nh a st h es u b j e c t i v i t yo fs e l e c t i n gt h en e i g h b o r h o o d ，w h i c hg r e a t l ya f f e c t s t h ep e r f o r m a n c e an e wm e t h o db yl o c a lp r o j e c t i o nu s i n ga d a p t i v en e i g h b o r h o o ds e l e c t i o ni s s t u d i e d f i r s t ，o n ed i m e n s i o n a lt i m es e r i e sa r ee m b e d d e di n t oah i 曲d i m e n s i o n a lp h a s es p a c e a c c o r d i n gt ot i m e d e l a yt h e o r y t h en e i g h b o r h o o ds i z e f o re a c hc a n d i d a t ep h a s ep o i n ti n p h a s es p a c ei si n c r e a s e db ya d d i n gn e i g h b o r i n gp o i n to n eb yo n e t h eo p t i m a ln e i g h b o r h o o d s i z ef o rt h ep h a s ep o i n ti sd e t e r m i n e dd u r i n gt h ed i r e c t i o n sv a r i a t i o no ft h em o s ts i g n i f i c a n t e i g e n v e c t o ro fn e i g h b o r h o o da ss i z ei n c r e a s i n g ，a n dt h e nt h en o i s ei se l i m i n a t e dt h r o u g hl o c a l g e o m e t r i cp r o j e c t i o n e x p e r i m e n tr e s u l t ss h o wt h a ta d a p t i v en e i g h b o r h o o ds e l e c t i o nc a n i m p r o v et h en o i s er e d u c t i o np e r f o r m a n c eo fl o c a lp r o j e c t i o nm e t h o d n o n 。s t a t i o n a r yt i m es e r i e sh a sp e r i o d i c i t ya n dr a n d o m n e s ss ot h a t i ti sd i f f i c u l tt o c o n s t r u c tt h em o d e lo fa c c u r a t ef o r e c a s tw i t hs i n g l em e t h o d ah y b r i df o r e c a s t i n gm e t h o d b a s e do ne m p i r i c a lm o d ed e c o m p o s i t i o n ( e m d ) a n dl e a s ts q u a r es u p p o r tv e c t o rm a c h i n e ( l s s v m ) i sp r e s e n t e di nt h i sp a p e r f i r s t l y , t h en o n s t a t i o n a r yt i m es e r i e s i s a d a p t i v e l y d e c o m p o s e di n t oas e r i e so fs t a t i o n a r yi n t r i n s i cm o d ef u n c t i o n s ( i m 聊i nd i f f e r e n ts c a l es p a c e u s i n ge m d t h e nt h er i g h tp a r a m e t e ra n dk e r n e lf u n c t i o n sa r ec h o s e nt o b u i l dd i f f e r e n t l s s v mr e s p e c t i v e l yt oe v e r yi m ef i n a l l y , t h e s ef o r e c a s t i n gr e s u l t so fe a c hi m fa r e c o m b i n e dt oo b t a i nf i n a lf o r e c a s t i n gr e s u l t t h i sm e t h o d i s s u c c e s s f u l l ya p p l i e d t o n o n s t a t i o n a r yt r e n dp r e d i c t i o no f m e c h a n i c a lv i b r a t i o n p h a s es p a c er e c o n s t r u c t i o na n ds v mp a r a m e t e r so p t i m i z a t i o na r et w oi m p o r t a n ta s p e c t s f o ri m p r o v i n gp r e d i c t i o np e r f o r m a n c ea n da r es o l v e ds e p a r a t e l yt r a d i t i o n a l l y t h i sp a p e r p r o p o s e saj o i n to p t i m i z a t i o na l g o r i t h mb a s e do nh y b r i dp s o t h i sm e t h o dc o m b i n e st h e d i s c r e t ep s ow i t ht h ec o n t i n u o u s - v a l u e dp s ot os i m u l t a n e o u s l yo p t i m i z et h ep h a s es p a c e r e c o n s t r u c t i o na n dt h es v mp a r a m e t e r ss e t t i n g t h ee x p e r i m e n t a lr e s u l t ss h o w e dt h e p r o p o s e da p p r o a c hc a n r a i s ep r e d i c t i o na c c u r a c y k e y w o r d s ：n o n l i n e a rt i m es e r i e sp r e d i c t i o n ，s u p p o r tv e c t o rm a c h i n e ，l o c a lp r o j e c t i o n ， a d a p t i v en e i g h b o r h o o ds e l e c t i o n ，e m p i r i c a lm o d ed e c o m p o s i t i o n ，h y b r i dp a r t i c l es w a r m o p t i m i z a t i o n ，p h a s es p a c er e c o n s t r u c t i o n ，j o i n to p t i m i z a t i o n i i i 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果尽我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含本人为获得江南 大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 签 名：! 递缝 日 期：垫q 壑二鱼：篁 关于论文使用授权的说明 本学位论文作者完全了解江南大学有关保留、使用学位论文的规定： 江南大学有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文， 并且本人电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签 名：上遗墟垒 导师签名： 乏乒 第一章绪论 第一章绪论 1 1 课题的背景及意义 非线性科学是一门研究非线性现象共性的基础科学。它是2 0 世纪6 0 年代以来，在 各门以线性为特征的分支学科的基础上逐步发展起来的综合学科，被誉为2 0 世纪自然 科学的“第三次大革命”【1 ，2 j 。科学界认为：非线性科学的研究不仅具有重大的科学意义， 而且具有广泛的应用前景，它几乎涉及到自然科学和社会科学各个领域，并在改变人们 对现实世界的传统看法。非线性时间序列预测是非线性时间动态复杂系统中的重要组成 部分。传统方法是应用一些改进的线性模型去逼近、模拟与分析非线性系统，如非线性 自回归模型、门限自回归模型1 3 j 等。这些方法有不少预测成功地事例，也促进了预测技 术的发展。事实上，这些方法存在j 下确选择模型和需要彻底了解系统运行机理的困难， 因而人们把目光转向了更为常用的只利用现存历史数据去构造模型的预测方法。 自2 0 世纪9 0 年代以来，随着非线性科学的发展，混沌、分形理论的出现，主要形 成了非线性时间序列预测的两种技术手段：一是对时间序列的背景分析和研究，通过相 空间重构来计算原非线性动力系统一些非线性不变量，进而利用该动力学系统的确定性 和非线性来进行预测。t a k e n s l 4 j 等人提出的嵌入定理和相空间重构理论，可以将一维的 时间序列变换到高维空间中，同时保留了原系统的一些信息，也就是说，在时间序列中 无法观测的有关动力学行为的信息，可以通过相空间重构反映出来。通过相空间重构来 估计原始系统的状态方程，了解其系统行为，就可以作非线性预测等工作。二是综合使 用近些年出现的各种智能计算工具( 例如人工神经网络、支持向量机等) ，利用它们的 学习和逼近能力通过反复的迭代和学习来拟合比较复杂的非线性模型，进而对时间序列 进行预测。 基于相空间重构和人工神经网络的非线性时间序列预测是近年来的研究热点。人工 神经网络具有强大的逼近非线性映射能力，已被广泛应用于非线性预测领域并取得了一 定的成果1 5 。8 l 。但是人工神经网络固有的局部极小、过学习、结构和类型的选择过分依 赖经验等缺陷，严重降低了该预测方法的应用和发展。支持向量机是一种新的机器学习 方法，它以v c 维理论和结构风险最小化原则为基础的，成为继神经网络研究之后机器 学习领域的新的研究热点，也成功应用于非线性时间序列预测中【9 。1 1 】。但是非线性时间 序列预测是一个系统问题，降噪处理、非平稳化处理、模型选择及其参数问题等都将是 影响预测效果的重要原因。本文将以这些问题为主要研究对象，分析各个方面可能存在 的问题，并提出具体的解决办法，以达到提高预测精度的目的。 1 2 非线性时间序列预测技术研究现状 1 2 1 非线性时间序列降噪的研究 噪声( n o i s e ) 是实验结果受到不可控制和不可预测的随机性扰动。噪声按性质可以 分为动力噪声和观测噪声两类。动力噪声( d y n a m i cn o i s e ) 产生于外界随机性因素对实 验系统的影响，使得实验系统不是尸矿格意义上的确定性系统，而是随机动态系统。观测 江南人学硕士学位论文 噪声( o b s e r v a t i o n a ln o i s e ) 产生于实验数据测量和记录时随机性误差。由于测量仪器的 误差和外界的干扰，通过测量得到的时间序列中常常会带有噪声。因此要从时间序列中 提取有用的信息，就必须先消除噪声。 传统的降噪方法主要是根据有用信号与噪声在频谱上不同分布来进行降噪。对于周 期性的信号其频域上表现为能量比较集中的谱线，而噪声则通常具有宽频带的特征，在 整个频域范围内都有分布，这样选择合适的带通滤波器，就可以滤除噪声，如w i e n e r 滤波器、k a l m a n 滤波器等。但是实际的系统常常具有非线性的性质，有可能具有混沌 和分俞等复杂的动力学行为，如果也使用基于带通滤波的传统线性方法进行降噪，则必 然会把一部分信号当作噪声滤掉，从而导致对信号的扭曲与变形。h 锄m e l 【1 2 】等利用影 子定理把降噪问题转化为确定一条靠近含噪声序列的轨迹问题，然而使用影子定理需要 知道时间序列的精确数学模型，或需要混沌动态特性的先验信息，这在实际应用中比较 困难。s c h r e i b e r l l 3 j 提出一种简单的局部平均算法，该算法直接对邻域内的点线性化或取 平均值得到降噪的效果。徐建学【1 4 1 、游荣义【1 5 】等研究将小波应用于混沌信号的噪声处理， 说明了小波用于混沌信号降噪的可行性。应用小波进行降噪，位置的确定是一个关进因 素，特别是混沌信号，直接决定着降噪的效果，这也是需要探讨的问题。v a u t a r d l l 6 j 首先 将奇异谱分析的方法引入到噪声处理中。在实际应用中，选择那些主分量来重构信号， 是此方法的主要问题。局部投影算法的主要思想最初是在2 0 世纪9 0 年代初由c a w l e y 、 h s u 、g r a s s b e r g e r d 和s c h r e i b e r 等提出的【1 7 以9 1 ，其本质上也属于局部的模拟近似的降噪 方法，由于该方法去噪效果很好，已广泛应用于工程领域，并取得了较好的去噪效果。 影响局部投影方法去噪效果的因素中，最主要的就是邻域半径的选取问题，这也是本文 需要研究的问题之一。 1 2 2 非线性时间序列的预测方法 时间序列预测技术按建模数据情况，预测方法可分为全局预测、局部预测和自适应 预测；按照选择的预测量形式划分，有向量预测模式和模型预测模式；按照预测因子的 多少划分，可分为单变量预测模式和多变量预测模式；按照预测步数的多少，可分为单 步预测和多步预测等等。时间序列的分析和预测手段多受线性模式主宰，自从二十世纪 六十年代以来，以混沌时间序列的预测方法和预测理论为代表的非线性时间序列分析技 术己经取得了初步的理论和应用研究成果，对这些结果的继承、综合和发展是预测领域 的主要研究内容。 1 传统的预测方法。 利用自回归模型、门限自回归模型等模型进行预测。这些都是传统时间序列预测方 法，均属于模型驱动的方法，最后找出最佳模型。非线性自回归( n o n l i n e a r a u t o r e g r e s s i o n ) 模型，由下式定义： x ，= 妒( x ，一l ，x 卜| p ) + ，( 1 1 ) 其中妒是尺p 到尺1 的i 叮测函数，p 。) 为白噪卢序列，与缸，s f ) 相互独立，p 称为 模型的阶数。 2 第一章绪论 门限自回归模型近年来得到了较为深入的完善和发展。t a r ( t h r e s h o l d a u t o r e g r e s s i o n ) f - 限自回归模型是汤家豪( h t o n g ) 博士【3 】首先提出来的，模型的思路 是：对研究对象按照不同区间建立若干个线性时序模型；然后将这些线性时序模型组合 起来描述该对象非线性时序变化特性。将空间尺p 分割成1 个互不相关的子集，使得妒在 每个子集中为线性函数，由分段函数产生的模型称为门限自回归模型，由下式定义： x 。一 驴，。+ 妒业_ 一t 】，( o s z ，一d s o + 。) + ， ( 1 2 ) 其中一0 0 = r 1 r 2 2 d f ( d f 是系统吸引子的 分形维数) ，重构相空间中的相点轨迹与原动力学系统是微分同胚的。在相空间中，动 力学系统的确定性以某种吸引子的形式得以展现。系统吸引子分形维数通常是低维的， 只局限在相空间的一个m 。维子空间( d ， m 。 ：已叮【p q 。r ( x 。一x 。) 】 ( 2 6 ) 9 江南大学硕士学位论文 其中尺为权重系数矩阵，用于抑制相点两端元素的畸变，保留中间的稳定元素项。j 。是 邻域数据的均值，x ：为降噪后的信号。 ( 4 ) 对所有的相点都重复上述步骤，最后还原至一维时间序列，即得到最后的降噪结 果。 局部投影的算法可以迭代使用，即对降噪后的结果再使用局部投影算法进行降噪， 直到无法得到更好的结果为止。 2 3 2 局部投影算法存在的不足 由于局部投影算法不需要预知系统动力学特性，因此被广泛地应用于时间序列的降 噪研究中。但该算法在应用过程中存在一定的缺陷，主要表现在： ( 1 ) 初始邻域的选择。对于模型未知的信号，邻域半径的选择多为人为试凑法，对不 同的混沌系统其实际应用受到一定的限制； ( 2 ) 投影。当系统为非双曲或者噪声水平较高时，正交投影对相空间中的前后分量一 同校正，而由于受到较大噪声的影响，吸引子的不稳定性导致首末分量难以准确的校正， 从而导致在每次反复迭代中对每个嵌入向量带来较大的误差； ( 3 ) 局部邻域子空间。每个邻域都有其内在的动力学性征，因而具有不同维数的特征 子空间，选取一个固定的子空间会影响最终的去噪效果。 2 4 基于邻域自适应搜索的局部投影算法 局部投影算法的核心思想是要在某个小的邻域内用线性的方法来拟合或逼近吸引 子非线性的流形，因而邻域的选取是局部投影的关键步骤之一，对最终的降噪效果有着 重要的影响。如果邻域太小可能会损失部分有效信息，线性逼近和局部投影都会受到噪 声的干扰；如果邻域太大又会使被包含点的动力学特性过于复杂，难以模拟，使分段线 性逼近的效果不明显。邻域自适应选取的方法可以避免人为选取初始半径的主观性。 2 4 1 邻域的自适应选取 在上述标准局部投影算法中，只是对这个固定值进行优化，未能考虑到不同相点 之间曲率上的差异，在进行降噪时必然会引起一定的误差。当邻近点数从小到大开始变 化时，邻域中的特征向量的最大主方向必然会随之发生变化。在未超过噪声范围之前， 由于噪声的随机性，邻域最大主方向会产生较大的波动。当邻域大小超过噪声范围之后， 最大主方向的变化就趋于平缓，并在最优的邻域附近达到一个平稳阶段。当邻域再增大 时，最大主方向的变化又有可能出现新的波动。在每个待分析相点的邻域从小到大的变 化过程中，邻域最大主方向的变化可以用相邻变化的两个邻域最大主方向之间的夹角来 刻画，设x 和y 分别代表邻域变化过程中两个相邻邻域的最大主方向，则最大主方向 之间的夹角定义为 卢；a r c c o s1 三垒；_( 2 7 ) 、。 其中 定义为两个向量的内积。 夹角越小，说明邻域间最大主方向的变化越小；夹角越大，说明邻域间最大主方向 1 0 第二章非线性时间序列噪声处理技术 的变化越大。在夹角变化过程中出现的平稳阶段可以用受控精度亭和受控长度l 两个参 数来确定。也就是当夹角的值连续l 次满足卢s 亭时，即认为出现了一个平稳阶段。因 此，对每个待分析相点，从d , n 大逐步增大邻域，作出最大主方向之间的夹角随邻域大 小变化的曲线，曲线上第一次出现平稳阶段时，平稳阶段范围内的中点对应的邻域大小 即是该相点最优的邻域大小。 2 4 2 自适应局部投影降噪算法的步骤 为了比较方便，在以后的描述中，将2 3 节中介绍的局部投影算法称为标准的局部 投影算法，将本文提出的用自适应方法选取邻域的改进后的局部投影算法称为自适应局 部投影算法。自适应局部投影算法的主要步骤如下： ( 1 ) 在选择合适的嵌入维数和时间延迟将一维时间序列重构到相空间后，首先要给定 邻域自适应搜索的范围。搜索范围e h 最d , 的邻近点数k 。；。和最大的邻域点数k 一来确 定。通常可以取k 。蛔= m ，m 为嵌入维数，因为要描述m 维空问的局部性质至少需要有 m 个数据点，若k 。；。 m ，则会出现病态的数据矩阵而造成数值计算的不稳定。k 一可 以根据时间序列的长度和采样频率取一个稍大的值。 ( 2 ) 对每个相点寻找含有k 耐。个邻近点的邻域，作为邻域自适应搜索的初始值。对邻 域数据的协方差矩阵做特征值分解，最大的特征值对应的特征向量就是该邻域的最大主 方向。 ( 3 ) 按邻近点数k 从k 晌+ 1 增大至k 一逐一确定邻域，并计算出每个邻域的最大主 方向，y 足= ( y r ，y ，y t m k ) r 邻域最大主方向的变化由夹角卢( k ) 给出： 雕，= a r c c o s 丽番苇杀 仁8 ， ( 4 ) 对每个相点，分别作出声( k ) 随k 变化的曲线。给定受控精度芋和受控长度l ，在 曲线中找出夹角卢第一次出现连续次小于受控精度的区域，区域范围内的中点对应的 邻近点数，即是该相点的最优邻域所包含的点数。 ( 5 ) 为每个相点自适应地找出最优的邻域后，再执行标准局部投影算法的相应步骤 ( 2 ) 一( 4 ) 。 按照上述步骤，依次对所有的相点都进行处理，即完成了对时间序列的自适应局部 投影降噪。 2 4 3 实验分析与比较 下面用数值实验的方法来验证自适应局部投影算法的有效性。用于实验的仿真信号 分别来自对l o r e n z 系统和d u f i n g 系统用数值积分的方法得到的结果。 l o r e n z 系统的动力学方程为 f 戈一6 0 y ) 夕；i x x z y ( 2 9 ) 【之一x y b z 其中仃= 1 0 ，b ：8 1 3 ，= 2 8 ，并取系统的x 分量作为实验的数据。 d u f i n g 系统的动力学方程为 江南大学硕十学位论文 戈+ c 圣一e ( x z 2 ) = a c o s ( t o 。f )( 2 1 0 ) 其中c = 0 2 ，；1 , a = 4 0 ，= 1 。 分别向l o r e n z 信号和d u r i n g 信号中叠加不同噪声水平的高斯白噪声( 噪声水平用噪 声的标准差与信号的标准差之间的百分比来表示) ，这样就得到了两组含噪的混沌时间 序列。先用自适应局部投影算法对两组数据进行降噪处理，然后根据自适应局部投影算 法中的邻域搜索范围【k 耐。，k 一】，从中依次选出一个邻域的大小，代入标准的局部投影 算法对实验数据进行降噪处理。实验中对每一组信号用局部投影算法降噪时，除了邻域 选取的方式不同外，自适应算法和标准算法中的其他参数都保持一致。并且采用公式( 2 2 ) 定义的信噪比作为降噪效果的衡量指标。 表2 - 1 和表2 2 分别列出了l o r e n z 信号和d u r i n g 信号在不同染噪程度下用自适应 局部投影算法和标准局部投影算法降噪后得到的结果。表格中“标准算法的最优值”是 指在自适应局部投影算法的邻域搜索范围内，依次用不同邻域大小作为固定值代入标准 的局部投影算法中所能得到的最优的降噪结果。从数值仿真实验的结果可以看出，自适 应局部投影算法的降噪结果要优于标准算法采用固定邻域大小所得的最优值，或与标准 算法的最优值非常接近。因为在实际的信号处理中通常不可能事先知道无噪的信号，对 邻域大小的选取也缺乏足够的先验知识，所以采用标准的局部投影算法时，很难正确地 选取合适的邻域大小来获取降噪结果的最优值。相比之下，自适应邻域选取方法无需先 验知识，可以直接获得最优结果，因而更具有实用价值。 表2 1 不同邻域选取方式下对l o r e n z 信号的降噪结果 t a b 2 1n o i s e r e d u c t i o nr e s u l t so fl o r e n zw i t hd i f f e r e n tn e i g h b o r h o o ds e l e c t i o n 表2 - 2 不同邻域选取方式下对d u f f i n g 信号的降噪结果 t a b 2 - 2n o i s e - r e d u c t i o nr e s u l t so fd u f f i n gw i t hd i f f e r e n tn e i g h b o r h o o ds e l e c t i o n 噪声 降噪前的 降噪后的信噪l l ( d b ) 水平 信噪l 匕( d b )自适应算法标准算法最优 2 5 本章小结 降噪处理是非线性时间序列分析的主要研究内容之一，也足对非线性时间序列进行 1 2 第二二章非线性时间序列噪声处理技术 准确预测及参数求取的前提。基于邻域自适应搜索的局部投影算法避免了标准局部投影 算法人为选取初始半径的主观性，能够更加正确地选取合适的邻域大小来获取降噪结果 的最优值，因而更具有应用价值。 第三章基于e m d 和l s s v m 的非线性非平稳时间序列预测 第三章基于e m d 和l s s v m 的非线性非平稳时间序列预测 3 1 引言 近年来发展起来的人工神经网络技术在非线性时间序列预测中得到了较为广泛的 应用【压2 7 1 ，但是神经网络存在着网络结构难以确定、容易陷入局部极小值、收敛速度慢、 推广能力较差等缺点。支持向量机( s v m ) 具有结构简单、学习速度快、全局最优、泛 化性好，能较好的解决小样本、非线性、高维数和局部极小点等问题，被认为是神经网 络在预测领域的替代方法【2 9 ，3 0 】。 在工程实践中，时间序列不仅是非线性的而且大多是非平稳的，而以往的工作表明 传统单一的时间序列预测方法存在以下问题：一是缺乏平稳性检验，常常定性观察而假 设平稳，这虽能简化问题，但因忽略了具有决定性影响的非平稳因素而会导致结论错误； 二是非平稳时序建模通常采用差分或变换方法平稳化，再应用平稳方法建模，该方法掩 盖了数据本来存在的趋势，以一个不相干的模型来表示，从而失去了数据提供的极为重 要的信息及其解释。经验模式分解( e m p i r i c a lm o d ed e c o m p o s i t i o n ，e m d ) 是一种较新 的信号变换理论，它将非平稳信号按不同尺度的波动或趋势逐级分解成若干个本征模式 分量( i m f ) ，对信号作了平稳化处理，减少了信号间的特征信息的干涉或耦合。本章提 出了基于经验模式分解( e m d ) 和最d , - 乘支持向量机( l s s v m ) 的非平稳时间序列 预测方法，试图提高预测精准度。 3 2 支持向量机原理 3 2 1 统计学习理论和支持向量机 机器学习的目标在于使期望风险最小，在实际运用中只能利用训练样本的信息而无 法包含整个样本集的信息，因而传统的方法是用经验风险最小化( e m p i r i c a lr i s k m i n i m i z a t i o n ，简称e r m ) 准则，即用样本定义经验风险式( 3 1 ) 来代替期望风险 r e i n p ( w ) = 兰e ( y 。一，0 ；，w ) ) 2 ( 3 1 ) 珂口 但是后来研究发现，训练误差小并不总能导致好的预测效果。在某些情况下，训练 误差过小反而会导致预测( 推广) 能力的下降。可见，在样本有限情况下，经验风险 r e i n p ( w ) 最小并不一定意味着期望风险的最小。为解决过学习问题，学者们提出了统计 学习理论( s t a t i s t i c a ll e a r n i n gt h e o r y 或s l t ) ，它是一种专门研究小样本情况下机器学 习规律的理论【3 1 ，3 2 1 。 统计学习理论定义了一系列有关函数学习性能的指标，其中最重要的是v c 维。v c 维的直观定义是：一个指示函数集，如果存在h 个样本能够被函数集中的函数按所有可 能的2 h 种形式分开，则称函数集能够把h 个样本打散；函数集的v c 维就是它能打散的 最大样本数目h 。若对任意数目的样本都有函数能将它们打散，则函数集的v c 维是无 穷大。v c 维反映了函数集的学习能力，v c 维越大则学习机器越复杂( 容量越大) 。 1 5 江南大学硕十学位论文 v a p n i k 证明，对函数集中所有的函数，经验风险( w ) 和实际风险尺( w ) 之间至少 以1 一，7 的概率满足如下关系： 尺( 们s ( 叫+ ( 3 2 ) 其中，h 是函数集的v c 维，z 是样本个数。 公式( 3 2 ) 说明了学习机器的实际风险是由两部分组成：一是经验风险( i ) l l 练误差) ， 二是置信范围，它和学习机器的v c 维及训练样本数有关。将其简单表示为： r ( w ) sr e i n p ( w ) + m ( j l l 1 )( 3 3 ) 公式( 3 3 ) 表明，在有限训练样本下，学习机器的v c 维越高( 复杂性越高) 则置信 范围越大，导致真实风险与经验风险之间可能的差别越大。这就是为什么会出现过学习 现象的原因。机器学习过程不但要使经验风险最小，还要使v c 维尽量小以缩小置信 范围，才能取得较小的实际风险，即对未来样本有较好的推广性。 统计学习理论提出了一种新的策略，即把函数集构造为一个函数子集序列，使各个 子集按照v c 维的大小( 亦即中的大小) 排列；在每个子集中寻找最小经验风险，如图 3 - 1 所示。这种思想称为结构风险最小化( s t r u c t u r a lr i s km i n i m i z a t i o n ，简称s r m ) 准则， 而支持向量机就是这种思想的体现。 风 险 函数子集：s lcs 2cs 3 v c 维：h 1sh 2sh 3 图3 - 1s r m 准则结构图 f i g 3 - 1s t r u c t u r ef i g u r eo fs tr u c t u r a l r i s km i n i m i z a t i o i l 3 2 2 支持向量机回归模型 支持向量机首先是针对于分类问题提出的，但是通过引入损失函数的概念，s v m 可 以延伸推广到函数回归问题中来，从而为解决一些问题的建模问题提供了新思路1 3 3 3 4 l 。 支持向量回归( s u p p o r tv e c t o rr e g r e s s i o n ) l 撼本思想是通过一个非线性函数( ) 将训练 集数据x 映射到高维线性特征空间，并在这个空间构造回归估计函数。对于回归问题， v a p n i k 提出了如式( 3 4 ) 所示的不敏感损失函数， 1 6 第三章基于e m d 和l s s v m 的1 卜线性1 卜平稳时间序列预测 工( y ，夕 ，w ，) = i y 一夕c z ，w ，l 一 _ ，1 y t t c ，w ，i 口：一口：。) = 0s a jsc ，i = 1 , 2 ，n 0 s 口_ ；sc ，i = 1 , 2 ，刀 1 7 江南人学硕士学位论文 ( 3 1 1 ) 将其写成矩阵形式如下： m ；n 三 口r ，c a + ，r 】 ：2 丢 兰+ + e e r + y r , e e r _ y r 兰】 s j r e r ，一p r ， 兰 2 。 。3 1 2 ， 【o s 5 ，a s c 其中，鳞= ( t x ，) ，e - 【1 , 1 ，1 】r ，a ：呻是拉格朗日乘子，求解该二次规划，可得 w ；e ( a i 一口? 诧 ( 3 1 3 ) 根据k a r u s h k u h n t u c k e r ( 1 q 条件，在最优解处，有 l 口：? + 是- y i 呵+ 2 ( 3 1 4 ) la 沁+ 舅+ y f 一x 一6 ) = 0 r 7 j ! c 。口：乏。= ” ( 3 1 5 ) l ( c 一口? ) 舅= 0 r 7 由此可以得出，位于不敏感区内的样本点相对应的口。和口? 都等于零，外部的点对 应有= c 2 2 5 7 = c ，而在边界上，皇和舅均为零，因而q 和5 i ( o ，c ) ，从而有 j b = y i - w x r - e i 三曼2 ( 3 1 6 ) i b = y i w + ， 5 7 ( o ，c ) 、7 可由式( 3 1 6 ) 计j j g b 的值。 与q 0 和口? on 对应的样本x i ，即在不灵敏区边界上或外面的样本，称为支持 向量。进一步得到 w 2 善( 盱口? ) 2 磊( 5 i - - c 1 i ) x i ( 3 1 7 ) 其中，s v s 表示支持向量集。从而，f ( x ) 可表示成 m ) 2 荔( 盱a ? ) ( 誓。x ) + 6 ( 3 1 8 ) 对于非线性的同归问题，s v m 的基本思路是通过引入核函数，将输入空间的数据 通过非线性映射驴( x ) ，映射到高维的特征空间( h i l b e r t 空间) 中，然后在特征空间中进 行线性地处理。 假设非线件樟犁为 f ( x ，w ) = w 妒 ) + 6 则目标函数式( 3 5 ) 变为 1 8 ( 3 1 9 ) 第二章基于e m d 和l s s v m 的非线性非平稳时间序列预测 m i n 三。差( 口r 一口? ) ( 口，一a ；) ( 伊“) ，伊 ，) ) + 薹口t ( f y r ) + 薹a ? ( + y t ) 儿酗川| ：i ) = o k 口乓 o ，c 】 从而得到 w = 罗( 呸一a ? 砌 ) 白、 “。、“ l - l ( 3 2 0 ) ( 3 2 1 ) 此时