（理论物理专业论文）支持向量机方法在非线性时间序列预测中的应用.pdf

论文题目：支持向量机方法在非线性时间序列预测中的应用 作者简介：续瑞瑞，女，1 9 7 9 年生，2 0 0 2 年从师予陈天仑教授，于2 0 0 5 年毕业 于南开大学理论物理专业，并获得理学硕士学位。 论文摘要：举文主要研究最小二乘支持向量机( l s - s v m ) 方法在非线性时间序 列预测中的应用。主要癌客氢括使髑不同的方法减少l s s w 中支持向量个数 对模型预测性能酶影嘛，并讨论了l s - s v m 串参数懿选取方式。苔先，本文孽l 入应用较为广泛的k - m e a n s 聚类算法预处理训练数据来减少网络中支持向缀 懿个数，将此方法瘦熙程m a c k e y g l a s s 方程的预测中，并与逐次减去小数豢 支持向爨的方法馁逮较。实验结莱表鞠基于聚类缒方法可菠为麟络调练遵程节 省更多的时间，且更有助于提高预测模型的抗噪声能力。其次，本文分析了预 测蛙熊蘧不同参数的交他情况，提磁使矮基于混淹变异算子鲍避他怒翔算法优 选网络参数，结果表髓零方法快速有效她提高了预测模型的调缘釉抗噪声的戆 力，同时也说明优化的l s - s v m 是种优秀的小样本学习方法，具有更强的溅 豫能力。鼗辨，本文瘟用激进豹l s - s v m 嘲终预测n a s d a q 投票数撰，根据同 股票在不阋阶段所畲噪声的大小，分潮采用相应的方法进行预溺，取得满意的 效果，证明了l s s 方法在实际预测工作中的可行性。 关键词：最小二乘支持向量机，j 线性时间序列预测，聚类，混沌变异，激化 趣翅。 研究成果： 1 续璜璃，筵一搏者，d i s c u s s i o na b o u tn o n l i n e a rt i m es e r i e sp r e d i c t i o nu s i n g l e a s ts q u a r e ss u p p o nv e c t o rm a c h i n e ，理论物理通讯，己接受待发表。 髓n eo ft h em a s t e r d e g r e e st h e s i s ：n o n l i n e a rt i m es e r i e sp r e d i c t i o nb a s e do n s u p p o r tv e c t o rm a c h i n e i n t r o d u c t i o no ft h ea u t h - ：x er u i - r u i ，w a sb o r no na p r i l2 9 ，1 9 7 9 u n d e rt h e g u i d a n c eo fp r o f c h e nt i a n l u n s h ew a sa w a r d e dt h em a s t e rd e g r e eo fs c i e n c ea t n a n k a iu n i v e r s i t yi n2 0 0 5 k e yw o r d s ：l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e ，n o n l i n e a rt i m es e r i e sp r e d i c t i o n ， c l u s t e r i n g ，c h a o sm u t a t i o n ，e v o l u t i o n a r yp r o g r a m m i n g a b s t r a c t ：n o n l i n e a rt i m es e r i e sp r e d i c t i o nb a s e do nl e a s ts q u a r e ss u p p o r tv e c t o r m a c h i n e ( is - s v m ) w a ss t u d i e di nt h i sd i s s e r t a t i o n ，w h i c hm a i n l yi n c l u d e st h e d i f f e r e n te f f e c t so nt h ep r e d i c t i o nc a p a b i h t yp r o d u c e db ya p p l y i n gt w om e t h o d st o r e d u c i n gt h en u m b e ro fs u p p o r tv e c t o r sa n dt h ed i s c u s s i o na b o u tt h ea p p r o a c h e st o o p t i m i z em o d e lp a r a m e t e r se f f i c i e n t l y f i r s lk - m e a n sc l u s t e r i n gm g o r i t h mw a s e m p l o y e di nl s s v m t ol e s s e nt h en u m b e ro fd a t af o rp r e 仃e a t m e n t t h i sm e t h o dw a s u s e dt op r e d i c tn o n l i n e a rt i m es e r i e so fm a c k e y g l a s se q u a t i o i la n dt h ep r e d i c t i o n r e s u l t sd e m o n s t r a t e 也a tt h em e t h o di np r o s e n tw o r kc a ns a v em o r et i m ei np r u n i n g s u p p p r tv e c t o r sa n di m p r o v et h ec a p a b i l i t yo ft h ep r e d i c t i o nm o d e li nf i l t e r i n gt h e n o i s et h a nt h em e t h o do fp r u n i n gt h el e a s ti m p o r t a n ts u p p o r tv e c t o r s s e c o n d w e a n a l y z e d t h ep r e d i c t i o nr e s u l t sw i t hd i f f e r e n tn e t w o r kp a r a m e t e r sa n du t f l i z e d e v o l u t i o n a r yp r o g r a m m i n gb a s e do nc h a o sm u t a t i o nt oo p t i m i z e 也ep a r a m e t e r so f l s s v m t h es i m u l a t i o nr e s n l t ss h o w 也a tt h i sa p p r o a c hc a l ls i g n i f i c a n t l ya c c e l e r a t e t h e t r a i n i n g s t e pa n di m p r o v et h ec a p a b i l i t yo ff i l t e r i n gn o i s ef o rl s s v m f u r t h e r m o r e ，i m p r o v e dl s s v mh a se x c e l l e n tl e a r n i n ga n dg e n e r a l i z a t i o na b i l i t i e s a n dc a np r e s e n tm o r ea c c u r a t ep r e d i c t i o nw i t hf e w e rt r a i n i n gs a m p l e s i na d d i t i o n ， n a s d a qs t o c kd a t aw e r ep r e d i c t e dw i t hi m p r o v e dp r e d i c t i o nm o d e l s as a r i s f v i n g p r e d i c t i o na c c u r a c yw a so b t a i n e d ，w h i c hi n d i c a t e sl s s v mi sf e a s i b l ei nt h ea c t u a l p r e d i c t i o nw o r k r e s e a r c h a c h i e v e m e n t ： 1 x ur u i _ r u i ，b i a ng u o x i n g ，g a oc h e n g - f e n g ，c h e nt i a n l t m d i s c u s s i o na b o u t n o n l i n e a rt i m es e r i e sp r e d i c t i o nu s i n gl e a s ts q u a r e s s u p p o r tv e c t o rm a c h i n e c o m m u n t h e o r p h y s i np r e s s 第一章非线性时问序列预测 第一章非线性时间序列预测 1 1j 线经辩阖彦舞麓滗淹 自2 0 徽纪6 0 年代以来，非线性科学作为自然科学的“第三次犬革命”已经 蓬裁缝发疆起来了，其中# 线蛙霹耀垮判分辑与颈灏恕磅究已受到入粕广泛溅关 注。 非线性时间序列在自然界和人类社会的很多领域都有丰富的袭现，例如天文 鼹溺孛豹太辍黑子疆动，电力系统鬣麓受蔫，飞艇戆定蕴跟踪，诞券索场段徐波 动，以及人脑电波的运渤等处都存在潜许多重要的非线性时间序列，同时有关非 线性时间序列的预测问题也显示了十分广阔的研究与应用前景。 j 绞憋辩瘸滓刭是一秘特殊懿数撼集合痔醺，穆楚孛变量豹建去蓬影确襄豹 未来值，影响方式取决予其潜在的确定动力学，与漉沌现象有麓密切关联。非线 性系统的动力学机制在棚空间平面内的解可能是热于一个固定点，发散的亦域是 振荡豹。巍裘瑰为振荡瓣潜藏畜霹缝产生混速。鞠嶷豹，我镪数线蛙霎雩阗澎蒯 即是一种混沌时间序列了。 本章首先介绍如何斑确地判断混沌时间序列；其次，介绍混沌时间序列预测 豹基本方浚及骞关鲡识。 1 1 1 基本概念 囊谬嚣李鬻蓐裂藏是羧爨靖鬻次痔臻蠲懿褒溺毯集台，霹势必线牲裒饕线梭 的。简单地按一个公式来定义它们，即如果我们的随机时间序歹0 囊0 ) ，f = 1 , 2 ，o 。 可表述为： - 2 荔帆， 1 ) 酌形式，茭中蓉数痔捌 岛 潢是薹霹t * ， t 必壹噪声彦戮，鄂么这耱瓣阉 序列就可称为线性序列。反之凡是不能表示成( 1 1 ) 式的时间序列，都统称为非 第一章非线性时间序列预测 2 线性时间序列【1 】。 混沌从提出到如今关于它的定义有很多，但是一直没有一个较为统一的概 念。人们常用下列说法来描述它：混沌是决定性系统的内在随机性。它的出现使 得之前貌似随机的非线性时间序列变得可以预测了。但是混沌序列本身具有很重 要的特点：对初始条件的极端敏感性，简单说就是差之毫厘，失之千里的特性。 而现实生产与生活中的时间序列不可避免地会受到大大小小的噪声影响，因此也 给研究混沌序列带来了很大困难，预测能力受到很大限制。在这些交错出现的矛 盾中，如何正确分析混沌时间序列，如何选择最适合的模型来进行预测，是混沌 时间序列研究中的首要课题。 1 1 2 混沌时间序列判断方法 在实际工作中，由于方法和计算工具等限制会给时间序列带来的噪声，区分 噪声和混沌信号通常用下面的几种方法： ( 1 ) 主分量分析( p a c ) 主分量分析( p a c ) 方法是近年来提出的一种能有效识别混沌和噪声的方法。 具体计算步骤如下：若己知给定一维时间序列为 墨，工2 ，x 3 ，j ) ，采样间隔为 t ，进行相空间重构( 1 2 1 中将作详细阐述) ，选取的嵌入维数为d ，则由该 时间序列形成的轨线矩阵置。( f = n 一似一1 ) ) 如下： 置。 f 2 计算协方差矩阵彳为： x lx 2 工2 南 x l x e + 1 畅+ 1 ： x n 爿。；盖己z 州 f 然后计算出协方差矩阵爿的特征值 “= l 2 ，d 1 和相应的特征向量 ( 1 2 ) ( 1 3 ) 第一章非线性时间序列预测 阢( f = 1 ，2 ，d ) a 将特 贩值按大小排列：五= 屯乃，特征值 及特征向麓 珉称为主分量。求出所肖特征值的和y 为： ( 1 4 ) 潋豢搽z 为盖辘，氆 ) 为y 孝蠢黎戮豹图，称必主分量谱。凑予混涟亭列釉 噪声的主分整谱图是不同的，其中噪声序列的主分量谱图应是条与x 轴接近 平行的直线( 如图1 1 ) ，而混沌序列的主分量谱图斑是一条过定点且斜率为负的 直线( 翔黧i 。2 ) e 瑟激爵矮主分莹分东标准方差啦睡为谖鬟瀑淹嚣噪声豹一秘 特征【2 】。 _ 1 o 强c 弗 _ 7 - 9 0 1 0 一2 0 3 0 。一4 0 l 卧1 噪声雌分量谱图 霁巍产施胜 ( 2 ) l y a p u n o v 指数 混沌运动的基本特点是运动对初始条件极为敏感。两个靠得很近的初值所产 生魏羲遂，夔对嚣接移羧摇数方式努建，l y a p u n o v 疆数裁是定爨臻述这一瑷象 的量。在维动力学系统一。一f 阮) 中，l y a p u n o v 指数被定义为： 疋 。白 罩 y 一，2 一 一 一 一d 一 一， 一 一奠 第一章非线性时间序列预测 4 a 。l i m 三y n - i l j 生到 ( 1 5 ) 一 岛f 出f 由计算可推知ac0 时，相邻点终归要靠拢并成一点，这对应于不动点或周期运 动；反之，a ) 0 时表示相邻点最后要分开，即对应于混沌运动。可见混沌运动 中必有且至少有一个l y a p u n o v 指数是正的( 另外，吸引子也要求至少有一个 l y 丑p u n o v 指数是负的) 。因此，我们可以通过计算出序列的最大l y a p u n o v 指数 k 。，看它是否为正，就可以判断该序列是不是混沌序列了。 除了以上方法外，常用的还有基于神经网络模型的局部可变神经网络法、指 数衰减法、频闪法、代替数据法等一系列方法，这里不一一介绍了。正确地区分 噪声和混沌时间序列是进行预测的第一步也是很重要的一步，不容忽视。 1 2非线性时间序列预测方法概述 在确定性的基础上，对非线性序列动力学因素的分析，目前广泛采用延迟坐 标状态空间重构法。 1 2 1 相空间重构理论 相空间重构的方法最先是由d j f a r m e r 等人提出的，2 0 世纪8 0 年代，t a k e n s 发展了w h i t n e y 早期在拓扑学方面的工作，使得深入分析时间序列的背景和动力 学机制成为可能。之后p a c k a r d 等对它进行拓展，形成了延迟坐标状态空间重构 法 3 1 。本方法的产生为混沌时间序列预测提供了一条崭新的道路。 相空间重构法是指用一个变量在不同时刻的值构成相空间，因为动力系统的 一个变量变化很自然会跟此变量与系统的其他变量的相互作用有关，即此变量随 时间的变化隐含着整个系统的动力学规律。因此，重构相空间中的轨迹也可以反 映系统状态的演化规律【4 ，5 ，6 】。即对于一个混沌系统而言，我们可以把其产 生的混沌时间序列缸o ) ，f 一1 , 2 ，) ，取适当的嵌入维m 和延迟时间f ，重 构相空间矢量为： 第一章非线性时间序列预测 y o ) = 0 e ) ，x ( t + f ) ，x ( t + ( m 一1 ) r ) ) ( 1 6 ) 新的相空间矢量y g ) 即为湿沌吸引予。 在重稳相空间中，嵌入维数m 和时闰延迟暑的选取具有十分重要的意义， 同时也是很困难的。一种比较适合的选嵌入维m 的方法是由g r a s s b e r g e r 和 p r o c a c c i a 掇出粒g p 冀法【7 】，具体步骤如下： s t e p l 利用时间降列x ，而，x n _ 1 矗，先徐出一个较小的值，对威一 个重构的桐空间( 1 6 ) 。 s t e p 2 ，诗算关联凑数： c ( ，) 。l i r a 三铂( r i y q z ) 一r ( t j ) d ( 1 _ 7 ) 葵中| 埯) 一球| 表霹糕点飞) 鞠糙，) 之添羚鼗氏疆鬻， o ( z ) 是j l e a v i s i d e 函数，c ( r ) 是一个累积分布函数，表示相空阃吸 萼| 子上嚣纛鞭离零于，懿穰率。 s t e p 3 ，对于，的某个适用范围，吸引子的维数d 与累积分布函数c ( ，) _ 陂满 足对数线饿关系，即d 咖) 一l a c ( r ) l l n r 。从霹由拟台求出对威予 的关联维数估计值d ( r a o ) 。 s t e p 4 增加嵌入绒数强埘o ，灌复计算步骤s t e p 2 和s t e p 3 ，直到相成的 维数估计馕d ( m ，不再魏埘的增长蔼变亿，丽是在定范围内不变 为止。此时得到的d 即为吸引子的关联维数。 t a k e n s 证明，当绦数r n 适当霹，耋椅瓣程室闽其存与实舔麓动力学系统穗 同的性质，重构相空间中的轨线可以反映系统状态随时间的演化规律，其中敏 拂芝2 d 十l 。在计算过程中，如果d 髓着m 豹增热并不收敛于一个稳定的值，煲 j 表明赝考虑的系统是一个随税对褥序捌，两菲混淹辩闯序列，闲忿这稃算法魄誓 以作为鉴别所研究的时间序列是否为混沌时间序列的一种方法。 第一章非线性时甸序列预测 对于娥遮时闻r 的逡敬，主要蠢下巅两种蕊点； 一种认为嵌入维数m 和f 互不相关。选取方法主要依据两个准则：1 序列相 关法。2 。撼空间扩展法。精来人们均衡两种准则的利弊，推出了复自相关法斧翻去 偏复鑫穗关法。这些方法诗算复杂发不大，对数撵长度依赖毪不疆，买有撮强懿 抗噪声能力【8 】。另一种观点认为：嵌入维数坍和f 是相关的。代表方法有时问 窗口法，c c 方法等1 9 。 1 2 2预测方法简介 群学研究的最终嚣懿是弄清楚事物之闻的困聚关系，其中镪括事物的发麟规 律，即事物的过去、现在和未来。预测正是根据事物自身的发展规律来揭示窀的 未来：遥嚣羽做法是根撂实琢闻题最确建立描述系绫翡动态数学模型，然鑫求蝣 该模型，搬据计算结暴使动态韵模黧霞定下来，激螽应用予预渊。 基于棚空间重构理论来预测时间序列有多种方法，根据拟合相空间吸引予的 不同方式w 以分为全域法秘局域法。 ( 1 ) 企域预测法 零方法将轨迹巾的全部点佟为拟合对象，找出其规律，郫得到时间序列 潜在动力学的藏合瞒数，( _ ) ，斑鼗来预测鞔述鲍走商。其体步骤是释藤穗警 间重构理论，根据所给的数据构造映射于：r 1 一r “，使得，逼近理论的， 蘩爵缓 荟【y o + 1 ) 一，槲 ( 1 8 ) 达至袋小蓬翡芗：嚣”一嚣4 。 本方法的缺点是：一般计算比较复杂，特别是当嵌入缳数很高或者，很 复杂眩。双重构稳空润颈溅算法零赛寒分板，避嵌入维数缀蕊邋，蘸溅戆精 度也会迅速下降。 第一章非线性时间序列预测 本方法是将相空间轨迹的最后一点作为中心点，把离中心点最近的若 干轨迹点作为相关点，然后拟合这些相关点，再估计轨迹下一点的走向， 最后从预测出的轨迹点的坐标中分离出所需要的预测值。具体的实现方法 有加权零阶局域法，加权一阶局域法，以及基于l y a p u n o v 指数的预测方法 等【9 】。 i 加权零阶局域法 将所研究的时间序列进行相空间重构之后，取最后一个点为中 心点。接着在重构的相空间中计算各点到中心点的欧氏距离，找出 删) 的参考向量集： 1 ，) 一。，：，) 。 ( 1 9 ) 根据式( 1 1 0 ) 计算出y ( m + 1 ) 的值： y 似+ 。z ： i y m i e l ( d t - d ) 。， 嘉一埘 其中州+ 1 ) 是预测得到的空间轨道点，是中心点邻域中的各 点，口是邻域中点的数目，d ，d 。分别是邻域中各点到中心点的空 问距离和最小距离。在f 1 1 0 ) 式中可以看到，邻域中的点到中心点的 方向距离越小，则在预测中所占的比例越大，f 为参数，一般情况 取z 1 。 j i i 加权一阶局域法 设中心点k 的邻近点为k ，i 一1 2 ，q 。则一阶局域线性拟合 为： 虼+ 。一n + 6 ，iz l 2 ，q ( 1 1 1 ) 则虼+ 。为预测值。其中的参数4 ，b 满足下列关系式，即在嵌入维小= 1 第一章非线性时间序列预测 时，应用加极最+ - - 乘法有： 耋霉一魄) 2 = n l i l l ： 1 2 ) 蒺中置一exp(-a(d,-a) ，被定义兔珞鸯孽稷僮。堍l 穗孙l 努裂都蹙穗 骞e x p ( 一口“j d ，) ) 警闻重构之1 l 嚣的时间序列数据。 除了以上的方法外，还有基于神经网络模型的各种预测方法。其基本原理 是利用了神经网络的并行处理和强大的非线性映射能力，它可以把很多非线性 绩号熬处瑾方法及王瑟集成起来，j | 于未翔煞动力系统，可| 美遴过它来攀露滢 沌时间序列，然后进行预测和控制。o w e n s 和f i l k 最先采用了神经网络方法中 的感知器模型来考察了1 9 9 0 年以前5 年的全球总降水量，取得良好豹效浆。 之嚣睫着务移弱络穰黧豹不錾发震，预瓣方法鼓毅鞭溅精度黎鸯了太疆度懿澄 高，例如早期的b p 算法，后来的r b f 方法，以及利用具有强大小样本学习功 能的模型s v m 进行预测的方法，都可称之为一紫朵在预测领域中绽放的奇截。 第二章人工神经网络 第二章人工神经网络 2 1 人工神经网络简介 众所周知，计算机有着很强的计算和信息处理能力，但是它对于模式识别、 感知和在复杂环境中作决策等问题的处理能力却远不如人，特别是它只能按人事 先编好的程序机械执行，缺乏向环境学习，适应环境的能力。相比较，人脑的工 作方式与计算机不同，它是由极大量的基本单元( 神经元) 经过复杂地互相连接 而形成的一种高度复杂的、非线性的、并行处理的信息处理系统。人工神经网络 ( a n n ) 就是从模拟人脑的智能角度出发而建立的。它探寻新的信息表示、存 储和处理方式，设计全新的计算机处理结构模型，构造一种更接近人类智能的信 息处理系统，从而解决传统的冯诺依曼计算机难以解决的问题。这种方法引来 了大量研究者的目光，但是因为人们对大脑工作原理了解还很肤浅，在历史上， 研究一度遇到阻碍。从2 0 世纪8 0 年代初神经网络的研究再次复苏并形成热点， 并且广泛地应用在模式识别、图形处理、控制与优化、金融预测与管理以及通信 等各个领域。 本章首先介绍神经网络模型的工作原理，其次对s v m 网络在非线性动力学 预测方面的具体应用作迸一步探讨。 2 1 1 人脑工作原理 人脑是由极大量基本单元( 神经元) 经过复杂地互相连接而成的一种高度 复杂的、非线性的、并行处理的信息处理系统( s h e p h e r da n dk o c h , 1 9 9 0 ) 。神经 元所具有的种种特性再加上它在工作中能耗很低f f a g g i n ，1 9 9 1 ) ，使得人脑成为 一个运算效率很高的系统。其工作原理可以简单地表述为：不断地接受新异刺激 然后对刺激做出反应的过程，如图2 1 ： 第二章人工神经网络 1 0 刺激 图2 1 神经系统的框图表示 响应 人脑可以连续地接收信息，感知它并做出适当的决定。图2 1 中从左到右的 箭头表示携带信息的信号通过系统向前传输，从右向左的箭头表示系统中的反 馈。感知器把人体或外界环境的刺激转换成电冲击，对神经网络( 大脑) 传送信 息。神经网络的效应器将神经网络产生的电冲击转换为可识别的响应作为系统输 出。 模拟人脑的神经元，人工神经网络( a n n ) 的最基本信息处理单元也称为 神经元，结构如图2 2 所示，它是神经网络的设计基础。 图2 2 神经元的非线性模型 第二章人工神经网络 a n n 的三个基本要素 1 一组连接( 对应于生物神经元的突触) ，连接强度由各连接上的权值表 示，权值为正表示激活，为负表示抑制。 2 一个求和单元，用于求取各输入点的加权和( 线性组合) 。 3 一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一 定范围内( 一般限制在( 0 ，1 ) 或( - 1 ，+ 1 ) 之间) 。 另外，神经元模型还有一个外部的偏置钆( 或称为阈值吼= - - b 。) 。常取作 + 1 或者1 。根据所选取的偏置值正负不同，相应的增加或者降低激活函数的网 络输入。 2 1 2 神经网络特点及实现 人工神经网络是对人脑神经网络系统的简单抽象，以及人脑神经系统思维过 程的初级模拟。它吸取了生物神经网络的部分优点，主要有以下特点： ( 1 ) 并行性。 ( 2 ) 冗余性和容错性。 ( 3 ) 可分布记忆并存贮信息。 ( 4 ) 具有学习功能。 ( 5 ) 具有鲁棒性。 人工神经网络主要采用两种方式实现：一种是利用现代高性能的数字计算 机，加上各种硬件加速板的运算设备，形成具有模拟能力的通用软件来完成预期 操作；另一种是利用硬件直接来完成的。 2 1 3 神经网络发展简史 神经网络从m c c u l l o c h 和p i t t s 的早期岁月算起到今天已经走了一段很长的 路，它已经确立了作为植根于神经科学，心理学，数学，物理学和工程的交叉学 科的地位。 第二章人工神经网络1 2 神经嘲络开始予m c c u l l o c h 和p i t t s 早期的开拓型工作。m c c u l l o c h 是一个位 精神病学窳和解割学家，它用了2 0 年的时问考虑神经网络中必于事件的表承问 题。p i t t s 爨令数学天才，予1 9 4 2 年麴入了毽麴王露。疆蹇r a i l ( 1 9 9 0 ) , m c c u l t o c h 和p i t t s 在1 9 4 3 年写的论文中结合了神经生理学和数理逻辑的研究描述了一个神 经网络的逻辑演算。这篇文章的发袭标志着神经网络和人工智能学科的诞生。之 惹v o l ln e u m a n n 程这薅文耄魏襄发下，改进了鑫嚣懿第一我纛予诗算瓤，嚣发 了e d v a c ( e l e c t r o n i cd i s c r e t ev a r i a b l e a u t o m a t i cc o m p u t e r ) 。 一 神经湖络不断受到人们的重视，迎来其第二个踅要的发展阶段。1 9 4 9 年h e b b 豹书 t h eo r g a n i z a t i o no f b e h a v i o r 爨叛了，毯纛漤孛雾一次渗楚逮说秘7 突魅 修正的生理学学习规则。特别是，h e b b 提出入脑的连接方式程集体学习不间功 能任务时怒连续变化的，神经组织就是通过这种变化创建起来的。此规则至今仍 在各羲耱缀鼹终模鍪巾起羞缀重要鹃终建； h e b b 的书成为学习系统和自适应系统的计算模型发展的灵感源泉。 r o c h e s t e r , h o l l a n d 等人在1 9 5 6 年的论文中第一次尝试用计算机模拟测试以h e b b 学习缓谖为萋礁懿严箍公式纯静静缀理论，取褥了滚意黪敷栗，弱拜重模羧络莱穗 表明在具体的工作中需安加上抑制理论才能实现。v o nn e u m a n n 在生命最后的工 作中，提出了人脑和计算机的巨大熬异，由s i l l i m a n 代稿出版t 强ec o m p u t e r a n dt h eb r a i n ) 。w i n o g r a d 稻c o w a n 夜1 9 6 3 年建议捧经嚣络辛遴耀分布式冗众装 示，他们证明了大量的冗件怎样才能集体表示增加鲁棒性和并行性的单个概念。 1 9 6 5 年由n i l s s o n 出版的l e a r n i n gm a c h i n e ) 一书，迄今为止仍是一本用越 平蟊区分缀经可努模式鹣簸努著佟。程笳整毙年代豹经典瓣袈，舞豫神经两 络可以做饭何事情。但是随之而来的m i n s k y 和p a p e r t 在1 9 6 9 年的书中，利用 数学证明了单层感知器所能计算的根本性局限，弗鼠他们认为没有任何理由假定 筚层感懿嚣豹任俺弱隈胃潋在多层豹情况下禳竟溅。 由此丽来7 0 年代是神经网络发展的一个低铸，但是人们对神经网络发展的 探讨从未润颇过。1 9 8 2 年，美加州骥工学院物理学家h o p f i e m 用能量函数的思 想形成一释其有对称突触连接豹递j 穗两络撬行计冀瓣新方法，这种递归网络鞫统 计物理中的i s i n g 模型之间建立了同构，为物理理论( 和物理学家) 进入神缀冗 第二章人工神经网络 模型铺平了道路，从此神经网络的设计领域变化了。对神经网络笈兴起到重幕影 响的另一个亮点是1 9 8 6 年由r u m e l h a r t 和m c c l e l l a n d 编辑灼著作( p a r a l l e l d i s t t i b u t e dp r o c e s s i n g ：e x p l o r a t i o n si nt h em i c r o s t r u c t u r e so fc o g n i t i o n 。该书在爱 向传播算法的使用方面产生重大影响，它已经成为燎通用的多展感知器的训练算 法。 1 9 8 8 年，r r o o r a h e a dj 鑫l o w 擒逮了使琢径囊麓遗数( r a d i a lb a s i sf u n c t i o n , r b f ) 设计的多层前馈网络，提供了多层感知器的弱一种选择。但是实际上该方 法的基本思想要归功于六十年代b a s h k i r o v 、b r a v e r m a n 、m u c h n i k 还有a i z e r m a n 等久懿工俸。1 9 8 9 年m e a d 静q ( a n a l o gv l s ia n dn e u r a ls y s t e m s 一书孛，援获 神经生物学和v l s i 技术吸取的概念进行了不寻常的融合。2 0 世纪9 0 年代早期， v a p n i k 和饿鲍合于# 者发明了具有强大计算能力的一种有监督学习瞬络支持向嫩 魏( s u p p o r tv e c t o rm a c h i n e ，s v m ) 。遮稀凝方法是鸯黻样本学习联论发震静结鬃。 它的设计新颖处在于以搬自然的方式包含了v a p n i k c h e r v o n e n k i s ( v c ) 维数， v c 维提供了神经弼络从一个样本集中学习能力的一种度量方式( v a l r a i ka n d c h e r v o n e n k i s ，1 9 7 1 ；v a p n i k ，1 9 8 2 ) 。该方法遵循结构飙浚最夸往的滋翔。 在下面的章节中我们将详细介缨s v m 模型的设计方法及其在非线性时间序 捌预测中熬应弼。 2 2支持向量机 支簿离爨税( s v m ) 建设诗仅禽蠢令萋线穗荦元隐藏痿瓣蘩馈霹终豹一 种精巧和商度原则化的学习方法，它根植于v c 缭理论的结构风险最小化原则。 可用于模式识别和非线燃回归等问题，最早是由v a p n i k 提出的。 2 2 1 支持向量机 1 绞诗学习理论窝v c 维 统计学习理论是由v a p n i k 提出舱，主要用来研究关于小样本情况下的统计 规律及学习方法性质。s v m 就是在统计学习理论的指导下发展越来的一种新型 兰三兰三塑丝堕竺 学习算法。 a 推广性的界 针对两类分类问题展开讨论，设n 个观测值为五月“，i = l ，n 和相 关输出y 。，y 。= 一1 ，1 ) ，并且z 和y 存在一个未知的联合概率为f 0 ，y ) ， 机器学习的目的就是根据n 个独立同分布观测样本 ( x l ，y 。) ，o ：，y ：) ，瓴，y 。) ，在一组函数 ，( 工，w ) ) 中求一个最优的函数 ，o ，w o ) ，使预测的期望风险( 也叫实际风险) ： r ( 的2 f 2 y f ( x , w ) l d v i x ，y ) ( 2 1 ) 最小。 利用概率论中大数定理的思想，人们用算术平均代替式( 2 1 ) 中的数 学期望，定义了： ( w ) 。去善三( y l , f i x , ，w ) ) 1 2 2 ) 来逼近式( 2 1 ) 的期望风险，由于它是用已知的训练样本定义的，用来 表示训练集的误差均值，因此被称为经验风险。 f i x ，y ) 未知，不能直接计算出胄( w ) ，v a p n i k ( 1 9 9 5 ) 给出了r ( w ) 的 上界。对于0 s ，7s 1 ，实际风险r ( 叻以至少为1 一，7 的概率满足【1 0 1 r ( w ) s 月。( w ) + ( 2 3 ) 其中，h 是一个非负的整数，称作v c 维，表示学习机的容量。不等式右 边笫2 项称作置信范围或v c 信任( v cc o n f i d e n c e ) 。 b v c 维 不等式( 2 3 ) 所示的h 代表v c 维。下面给出v c 维的直观定义： 假如存在一个有h 个样本的样本集能够被一个函数集中的函数按照 所有可能的2 5 种形式分为两类，则称函数集能够把样本数为h 的样本集打 散。指示函数集的v c 维就是用这个函数集中的函数所能够打散的最大样 第二章人工神经网络 本集的样本数目。也就是说，如果存在h 个样本的样本集能够被函数集打 散，而不存在有h + 1 个样本集能够被函数打散，则函数集的v c 维就是h 。 如果对于任意的样本数，总能找到一个样本集能够被这个函数集打散，则 函数集的v c 维就是无穷大。 c 结构风险最小化 由于可以利用的信息只有有限样本，无法计算期望风险r ( 帅，因此传 统的学习方法采用对参数w 求经验风险月一( w ) 的最小值代替求r ( w ) ，此 原则称为是经验风险最小化( e r m ) 原则。由式( 2 3 ) 可以表明了，在有 限训练样本下，学习机器的v c 维数越高( 复杂性越高) 则置信范围越大， 导致真实风险与经验风险之间可能的差别越大。这就是为什么会出现过学 习现象的原因。机器学习过程不但要使经验风险最小，还要使v c 维尽量 小以缩小置信范围，才能取得较好的实际风险，这种思想称为结构风险最 小化准则( s r m ) 【1 0 。 2 支持向量机( s v m ) s v m 方法是统计学习理论中最年轻的部分，其核心内容是在1 9 9 2 1 9 9 5 年 之间提出的【1 1 ，1 2 , 1 3 ，1 4 ，1 5 1 ，目前仍处于不断发展中。此神经网络模型，只有 一个隐藏层，其隐藏层神经元个数是由算法自动确定的。它是有导师学习神经网 络模型中的一种。拓扑结构如图2 3 ： 第二章人工神经网络 图2 3 ：支持向量机网络示意图 a 最优超平面 s v m 是由线性可分情况下的最优分类面发展而来的，基本思想可用两类 线性可分情况说明。如图2 4 中左图所示，实心和空心点代表两类样本，假 如这两类样本是线性可分的，则按e r m 规则，机器学习的结果是一个超平 面( 二维情况是一条直线，如图中虚线所示) 或称为判别函数，该超平面可 将训练样本分为正负两类。右图为非线性可分情况。 图 图2 4 最优分类超平面 第二肇 工神经丽鳝 显然，按e 薹t m 豹要寐，这样弱越平嚣有无穷多个，有的超警露对训练 样本来说分类性能非常好( 经验风险a 。最小，为o ) ，但其预浏推广能力 却非常差。而按照s r m 的震求，学习的结果应是最优的超平面h ，即该平面 不毙虿羹将嚣黉镶练棰零覆凑努开，瑟蠢分类嚣囊鬣大。实器上怒瓣箍广能 力的控制，这是s v m 的核心思想之一。其中分类问隔指的是两类样本中离 分类超平面激避的点所在趣平面之间的躐离，并且这龋个超平面都平行于分 类怒平瑟。或纛说是扶分炎趣平嚣劐瑟类样本孛最主鏊群本戆歪离弱，这些最 j 慝样本可能不止两个，正怒它们决定了分类超平面( h l ，h 2 ) ，也就怒确定了 煅优分类超平弼( h ) ，这样的样本被称为支持向量( s u p p p o r t v e c t o r s ) 1 1 5 1 。 麓鼗学影式捺等最优势类鬻懿下： 设蕾| l 练样本榘o 。，y ；) ，iz l ，n ，x e r d ，y e + l 封。则分类超平两可表述 强： w 善+ b = 0 臻4 ) 臻求分类线对所有样本正确分类，就需满足下列约束： 冀【( 挣而) + b l - 1 慧堍 i 一毛磊，拜牮5 ) 满足以上条件并且可以使。悝么取最小的分类面则为最优超平面。 上述约束条件可用l a g r a n g e 方法求解，令。 五( w 矗口) 一三l 卅2 一耋n ；魏f ( w m ) + 矗】一哿 ( 2 6 ) 焚中a ；0 为每个样本的控氏乘子，把式( 2 。6 ) 分别对b 和w 求偏微分并令 箕等予0 ，翻霹疆导密： - 一0 ， ( 2 7 ) w 一够；簟 ( 2 - 鼙 其中m 为求解过程中对戍拽氏乘子不为零妁训练样本总数。因此，解向量有 一令壶诩练稃本集戆个子集稃零囱量稳残匏震开式，该子集稃本豹拉氏乘 予均不为0 ，落些拉氏乘予不为零的训练样本称为支持向量。拉氏檠予为0 第二章人工神经舟络 的样本向量的贡献为o ，对选择分类超平面是无意义的。于是，就从训练集 中得到了描述最优分类超平面的决策函数，它的分类功能是由支持向量决定 的。这样的决策函数可以表示为： ， ) = s w ( e a z y 。扛- 玉) + 6 ) ( 2 9 ) 何 其中s g n o ：为符号函数。 当数据为线性不可分时，例如存在噪声数据的情况，引入广义线性分类 函数，可以在式( 2 5 ) 中增加一个松弛项量z 0 ，成为： y i 【( w 。t ) + b 】苫1 一 i ， i = 1 ，2 ，一，n( 2 1 0 ) 将目标改为求式( 2 1 1 ) 的最小值： 咖驴州+ c 耋善 其中c 为一个常数，用于控制对错分样本惩罚的程度。利用这种改进 的模式则可得到线性不可分情况的最优超平面。 b 支持向量机 以线性不可分情况为例，上述约束优化问题可以转化为下列的对偶问题， 即在约束条件： ) ，；n r o o s 口is cf = 1 ，。，咒( 2 1 2 ) 对a 求解下列函数的最大值： q 似) _ 骞”j i 弘i 叩幽” ( 2 1 3 ) 这是一个不等式约束下的二次函数寻优问题，存在唯一解，解后得到的 最优分类函数是： ，o ) 一s 萨( n ；y i _ ) + b ) f ；1 ，扣，n 。( 2 1 4 ) 观察以上分类函数及其求解过程中的每一步可知，它们其中都包含了待 分类样本与训练样本之间的内积g ) 。按广义线性判别函数思路，要解决 第二章人工种经网络 一个非线性问题，我们可以设法将它通过非线悔变换转化为翳一个空间中的 线性问蹶。如图2 5 所示： ox x x 办 xxxx xx 、x x x 审 xxx 7 + 、x x l x ，一 + + 、卓、0 ，一t f x ，7+ + + + 、j x ，一7 + +十 +l ，+ 研7 卿7 i a l m ts l m c 。 | f e a t u r e 郇a ” 图2 5 低缳输入空间映射到高缎特征空阋 在这个嶷换后的空间中求最优分炎筒。而当一个问题中只涉及向量间的内积 运算拄寸，我嚣3 可以尝试通过适当改变逡积定义将问题变化到嬲一个空闯中泉 处理【1 6 1 。所鞋我 门只需要定义嚣线往交换葳的内积运算，i i l 不必真遣进行 这种交换。因此通过分析上述s v m 对偶问题，可知满足下避m e r c e r 条件的 核嫡数囊编，茗，) 代罄上式孛豹内获，裁可实现4 # 线性情况下豹分类。 m e r c e r 条件：对于任意的对称函数七化一) ，它是某个特征空闻中的内 积运算驹充分必要条件是，对于饺懑的妒o ) 一0 鼠扣2 红) 出t * ，有 f f g ( x ，一冲o ) 妒0 ) 幽威) 0 0 1 5 ) 满足以上的条件的溺数即可作为s v m 中的核函数使用。 这就是支持融纛桃，其基本悉想概括起来就是通过非线性变换将输入警 间变换刹一个高维空间，在这个新空间中求取最优线性分粪黼，而这个非线 性变换怒遵过痰积援滋数实现戆。磷究考证碉1 了谈遗数存在定理【1 7 】：绘建 一个训绦样本集，就一定存在一个相应的函数，训练样本通邂该函数映辩捌 高维特征空间的相是线性可分的。并且提出了碍找核函数的算法【1 8 】。 第二章人工神经网络 2 0 c 核函数 人们进一步研究了支持向量机的支持向量集和核函数的获系1 1 8 1 ，缡果 表鞫对棼线牲可分游况，对一令特定戆核函数，绘定豹撵本集中熬饪意令 样本都可能成为一个支持向量。闲此，支持向蹩机下