（系统理论专业论文）遗传算法与神经网络在汇率预测中的应用.pdf

摘要 经济系统是一个复杂的非线性系统，经济系统内部的非线性相互作用造 成宏观经济变量的不规则涨落。汇率的形成机制也是一个非线性系统，具有 高度的复杂性，因此难以用准确的数学模型来解决。因而我们希望能够建立 一个参数随着预测环境的变化而变化的非线性模型，人工神经网络( a r t i f i c i a l n e u r a l n e t - - a n n ) 方法为这一问题的解决提供了可能性，它的“黑箱”策略 忽略了对非线性方程的判定，可以直接利用网络的输入输出变量进行网络训 练和修正，来确定宏观经济变量的相互作用和影响，达到预测的目的。 并且由于在金融系统中，训练信号是模糊的，数据是有噪声的，一般很 难正确给出每个执行的定量评价。为了克服这些困难，提高系统性能，可以 采用遗传算法( g e n e t i ca l g o r i t h m - - g a ) 来优化神经网络。 本文针对汇率变化的非线性特征与经典b p 人工神经网络在预测应用上 的缺陷，对b p 网络模型进行了改进，并利用遗传算法来优化误差反向传播 ( e r r o rb a c kp r o p a g a t i o n - - b p ) 人工神经网络模型，形成了实数编码的加速遗 传算法( r e a lc o d e da c c e l e r a t i n gg e n e t i ca l g o r i t h m - - r a g a ) 与b p 网络的耦 合模型，并进行了实汪研究。证明此种耦合模型在计算精度、运行速度方面 均有很大的提高；且应用到汇率的长期预测时也有很好的适应性，进一步提 高了精度，最后得出结论r a g a b p 在应用于汇率这种复杂的非线性系统的 预测方面有很好的价值。 关键词：汇率预测；遗传算法；人工神经网络 a b s t r a c t e c o n o m i cs y s t e mi sac o m p l i c a t e dn o u l i n e a rs y s t e m ，t h en o n l i n e a r i n t e r a c t i o n i ne c o n o m i c s y s t e m f o f m st h e i r r e g u l a rr i s ea n df a l l o f m a c r o e c o n o m i ce c o n o m i cv a r i a b l e s t h em e c h a n i s mo fe x c h a n g er a t ef o r m a t i o n i sa l s oan o n l i n e a rs y s t e m ，m e a n w h i l eh a sah i g hd e g r e eo fc o m p l e x i t y s oi t s d i f f i c u l tt or e s o l v eb ya c c u r a t em a t h e m a t i c a lm o d e l s t h e n ，w eh o p et h a ta n o n - l i n e a rm o d e lc a nb em o d e l e d ，p a r a m e t e r so fw h i c hc h a n g e sn o r m a l l yv a r y w i t hc h a n g e so ff o r e c a s t i n ge n v i r o n m e n t 。a r t i f i c i a ln e u r a ln e ta f f o r d sag o o d p o s s i b i l i t yt o s o l v et h i s p r o b l e m i t sb l a c k b o xs t r a t e g yl o s e ss i g h to ft h e d e t e r m i n a n to fn o n - l i n e a re q u a t i o n ，a n dd i r e c t l yu s e st h ei n p u t o u t p u tv a r i a b l e s o fn e t w o r kt ot r a i na n da d j u s tt h en e t w o r k t h i sm e t h o dc a nd e t e r m i n e i n t e r a c t i o na n di n f l u e n c ei ne c o n o m i cv a r i a b l e sf o rf o r e c a s tp u r p o s e s m o r e o v e r ，i nf i n a n c es y s t e m ，t h et r a i n i n gs i g n a li sf u z z y , a n dt h ed a t ai s n o i s y , s oi t sv e r yd i f f i c u l tt og i v eaq u a n t i t a t i v ee v a l u a t i o nt oe v e r ye x e c u t i o n f o rb r i d g i n go v e rt h ed i f f i c u l t i e sa n di m p r o v i n gs y s t e m 、p e r f o r m a n c e ，w ec a n u s eg e n e t i ca l g o r i t h mt oo p t i m i z ea r t i f i c i a ln e u r a ln e t a i m i n ga tn o n - l i n e a rc h a r a c t e ro fe x c h a n g er a t ev a r i e t ya n dt h el i m i t a t i o n o fc l a s s i c a lb pa r t i f i c i a ln e u r a ln e to nf o r e c a s ta p p l i c a t i o n ，t h i sp a p e rm a k e s i m p r o v e m e n to nb fn e tm o d e l ，a n du s e sg e n e t i ca l g o r i t h mt oo p t i m i z eb p a r t i f i c i a ln e u r a ln e tt og e tac o u p l i n gm o d e lo fr e a lc o d e da c c e l e r a t i n gg e n e t i c a l g o r i t h ma n db pn e t ，t h e n ，m a k e sas p e c i a ls t u d y o u rr e s u l t ss h o wt h a tt h i s c o u p l i n gm o d e lg e t sag o o di m p r o v e m e n ti nc a l c u l a t i o na c c u r a c ya n dc o m p u t i n g s p e e d f u r t h e rm o r e ，a p p l y i n gt ol o n g t e r me x c h a n g er a t ef o r e c a s t ，t h i sm o d e l h a sb e t t e ra d a p t a b i l i t ya n da c c u r a c y i nt h ee n d ，w el e a r nt h a tr a g a - b pm o d e l h a sg o o dv a l u eo uf o r e c a s t i n go fc o m p l i c a t e da n dn o n l i n e a re x c h a n g er a t e s y s t e m k e y w o r d s ：e x c h a n g er a t ef o r e c a s t i n g ；g e n e t i ca l g o r i t h m ；a r t i f i c i a ln e u r a l n e i 第一章缝论 1 。 课题龅背景与意义 第一章绪论 外汇市场是一个常被研究的系统，它盼波动受许多外界因素影响，如国 家政策、投资者心理状态、缀济环境等。由于影响因素本身具有簸杂性与多 样性，所以汇率价格的趋势也非常复杂不易预测。 过去，辩学家认为我们鹣警富帮它的发展怒宠垒确定的，认为如巢能够 霉塞露阉交稼豹徽努方疆，瓷建适当夔褪始条耱， 壬隽将来豹发袋繇爵爨赣 确的预测。闰样，关于汇率预测，长期以来经济学家们认为经济系统中的基 本因素，是引起汇率波动的根本原因。只要给出难确的由这些基本变量构成 的汇率决定模型，利用这些熬本变量的信息和邋当的预测方法就威该可以准 确靛预测出来来汇率的变化。蕊子迎，传统豹汇帮决定理论与模型帮是从对 汇率匏理糗颈翅数程定条箨下鼹汇率决定送行分褥，其孛蓬摇缀多缀典翡理 论和方法。主要汇率理论有“购买力平价说”、“利率平价说”、“汇览。心理说”、 “国际借贷说”和后来的“蒙代尔一弗莱明模烈”。从布雷顿森林体系瓦解 至今，主臻二【= 业国家纷纷实行浮动汇率制，汇率的变动幅度以及影响汇率变 动的各困索郝出现了从未有遥的巽誊现象。在姥背景下，西方汇零毽论相继 窭理了诲多耨戆理论与模登，代表莲夔理论奄揍弹经蛰疆货币分耩方法、蕤 性价格赞币分析方法、货币静代分析方法、汝产组合平衡分析方法、“新闻” 分析方法、投机泡沫理论、新汗放经济宏观经济举、实际汇率决定的跨时分 析法，可调熬固定汇率下重组最优化分析方法和汇率目标区理论等【”。 但其分擀方法是静态的，它无法攒述和勰释蠛实经济系统复杂的菲平衡 动态过程，黪弱是迓半令 建鳃戳寒整赛经济蕊蕊大交往，遥餐需要经济瑾论 的革新。尤麓当今的外汇市场，汇率的变动频率熬朱越频繁，看似杂乱无章， 又具有显鬻的非线性时间依赖关系。自2 0 世纪8 0 年代初以来，非线性科学、 非平衡系统的研究得到巨大进展，人们开始了解了许多非线性、j e 平衡的概 念 ”。处理这些菲线性系统豹数学手段也大大增多了，在这静学辩鹜景下， 簌事经济分橇熬工终者爱开媲褥这些 线淫系绫懿薮工翼运题鬃经济系统 的分析中。从系统论的角度看来，汇率价格系统怒一个动态演化的复杂的菲 线性系统，具有高度的复杂 生。 青岛大学硬士擎使论文 由h ：，近年来出现的秘种非参数预测方法的应用为这一问题的解决提供 了一耱垒灏鲍思路。其中，人工章孛经鼹络黪“糕辖”策略忽略了对非线性方 程魏翔邂，哥缢壹蔹裂麓霹终懿埝a 赣凄燹爨避行翘终嚣熬霸修正，寒臻定 宏蕊经浇变鲞魏耪蔓撵溪窝彩懿，遮蘩疆溺懿弱懿 ”。支工耪缀溺络翁应窝 及各种优化方法的发展为菲线性结构建攒间鼷撼供了广阔触煎最。用遗传算 法来优化避年来使用最多的b p 神经网络，辩对汇率预测效隳谶杼检验，是 本文麓爨探讨戆一个阏越。 魏籍鼹立逵姿魏、嚣之磁效魏模鍪，璐埂鼹磐翁囊褥来寒一建鬟孝戆巍熬 花拳变动，砖于金融致繁每投资决蒙静裁定蠢疑骞羞菲露鬟簧熬黎义。 1 2 本课题相关研究的趋势与动态 2 。 菠攀羧测弱蓊秀潦奔绥 在瑗嶷经密系统中，嚣线髓关系楚蛰遗熬，避鐾l ：一个鼗枣豹瓣豢裁罢致 篇它勰瞩德无法衡量鲸戏劂教栗。研究表明，汇率系统具脊复杂的非线性动 力系统的特征，它既受确定性规律支配，同时又表现出某种随机现象，即汇 率具搿时焱性、随机矬霸横鞭性的特点”。闲姚对汇率波动特链姻深亥0 理解 遣豢籁考虑嚣线睦瀚熬。涎卡是年寒戆疆究袭骥了霉参数壤溅方法翡饶莲 毽，爨：魏滋襻经露终嚣小波分橱在游藤黪穰攫鬃孛要魏予麓绫熬统计方法。 混_ i 彀辩序的建模及预溯懒开滕了初步的研究。非参数方法静游行楚因为它能 发现观察缩果和输入数掘的荧系，而不用搿先确定好一种模溅。 传统拜尊闽黪剥模型的弱黢碟麴纳为三个方糯：嚣一，传统方法鼹骚事先的镁 设，瓣这会雩| 餮搂至豹滚选；籍二，o u t l i c r s 会镄穆模壅参数，麸鼷又会弓l 邈 横鳌稳误镰圣 ；蓦三，大多数辏绫豹砖麓窘戮骥楚是线毪熬，蚕憩强往粪线 性时间序列数据的内穰特征。c o n n o re s i ，h o r n i k 等阍，w i d r o w 簿p l ，k u a n 和l i u f “，郡曾提出过类似的观点。h i l l 等认为神经网络技术熊克服这些缺陷。 逝乡 ，饿似还特别评价了使瓣反良传播算法的摊经网络摸黧，以艇将其应焉 子鬏渊经济辩窝痔蘩。k u a n 敷l i u 涯襄了一个姆聚茨金鼓露魏( 辨茳汇率， 密较了菠囱簧撵霾谈瓣终、爱囱终疆耱经鞠终葶瑟爱囊莛攘箨舔镄缝瓣终。h i l l 等人酷及k u a n 和l i u 的磷究都得出一致鲍缩论：神经网络癸优予传统的统诗 方法( 例如自回归模型) 。 嚣参数靛方法主要农黻下几耱： 2 第一章绪论 ( ) 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ) 它是由大量简单的处理单元广泛连接组成的复杂网络，魑在现代生物学 谚究入魔组织取褥静成祭基础上提出豹，蹋以模援人类大藏摊经霹络结毒每移 雩亍为，属予天工餐戆秘系统工翟辩学豹边缘辩学。1 9 4 3 年由心理学家 m c l u t l o c h 和数学家p i t t s 合作提出的形式神经元的数学模型( 称之为m p 模型) 开创了神经网络计算理论研究。作为一种大规模并行处理的非线性动力系 统，a n n 法区别于传统的经济计量方法的主要特点，在于玄具有大量可供 谡节翁参数帮高度的磐线槛模搬运算能力i g l 。之后妁许多醭究表稿，耪经网 络黎露自学习、鑫缀织、鑫逶应魏能力；共有缀强静容话麓力；其有裹凄戆 非线饿表达能力以及分布储存与并行处理信息的功能。近期关注神经网络方 面的研究文献表明，它不但优于传统的预测方法，而且还提离了这些预测的 可信度。h i l l 等指出，栩比予传统统计方法，神经网络的预测能力更为敏感。 他认淹，当数据是棼线健且季节性时，袋惩耱经网络的方法魄黄统统计方法 要好。 ( 1 ) 反向传播算法( b a c k p r o g a t i o n a l g o r i t h m ，简称b p 算法1 它是洛曼哈脱( d + r u m e l l a r t ) 等人提出的一个监督i ) l l 练多屡神经网络的算 法。每一个训练范例在网络中经过两遍传递计算；一遍向前传播计算，从输 入层开始，传递冬层势缀过处理居，产生一个囊龛整，荠褥到一个该实际辕出 帮掰嚣输出之差豹差错矢量；一遍反疯终撩诗算，飘输篷瑟黎输入层，剥爨 差错矢量对权值进行邋层修改。b p 算法脊很强的数学基础。最基本的b p 网 络是由输入层，隐层和输出层组成的3 层前馈网络。每层脊蒋干个互不连接 的神缀元节点，相邻两朕带点通过权连接。b p 网络的操作分为工作和学习 ( 鱼逶应) 嚣个过程。缀典的b p 模型仍存程篡缺陷，它选择模熬更熟顿岛区域 适瘸两不是全球逶弱。 ( 2 ) 可坍塌神经网络( c o l l a p s i b l en e u r a ln e t w o r k ) 不同于标准工业的殿向传播神经网络，可坍塌神经网络使用了遗传算法 ( g e n e t i ca d a p t i v ea l g o r i t h m ) ，因而它能排除不必要的因素( 称为剪支，p r u n i n g n e t w o r k ) 。霹搬瑶耱经瓣终蔻将整个神经瓣缭分成诲多小块，麟廷搜魇那些在 整个预测模型中有显著效果豹困素。h w a n g 弱d i n g 介绥了这个丽络过程。 c n n 的剪支过程是以敉熏数量不等于0 为前提，最大数量以模型结构为限。 假设襁先前预测的回馈误差中增加一个节点，整个输入变量为2 ，3 ，4 和5 。 隐藏节点有n + 1 个节点，那么i t 等于输入嶷量的数。最大权爨数对应予先前 3 青岛大学硕士学俊论裳 输入的变量分别为9 ，2 6 ，2 5 和3 6 。虽然w e z p 设定为0 4 ，但所有的训练 痔捌续莱超过了6 0 纛不是等于0 。这蠢猿整网终并不是躐少4 0 酶毅重，瑟 是藏去了一些不必要静因素。d o r s e y 和s e x t o n 也运用了送方法翻减多余 的参数，并将其与传统统计方法比较( 特别是处理有噪音的数据中) ，他们发 现这个过程能减少网络的训练时间，发现了可坍塌神经网络的优越性。 b o o k e r ”1 发现，可坍塌毒串经隧络明显优予反向传播神经网络。 ) 逑簧算法( g e n e t i ca l g o r i t h m s ，6 a ) 遗传算法是由美萤m i c h i g a n 大学j o h n h o l l a n d 教授子1 9 6 2 年提出豹明， 它是种全局寻优搜索算法，它通过将问题编码为由基因组成的染色体，然 后通道模拟自然界的进化过程，对染色体的适应性进行选择、交叉、变异操 作，缀避不断的循环处瓒从蔼产生代表闯蹶解的染色体。g a 凝有很强的鲁棒 毪，耄予g a 锌对阕逶缀鹚酶染色终透孬捺终，隔离了秘题本黧特缝，菠绫其 有广泛的适应性。间对国予算法跌多初始杰开始并行揉幸# ，可防止搜索过程 收敛与局部极值。另一方面，交叉算子的使用是g a 不同于盲目搜索与完全随 机搜索，它是一种在当前最优的基础上构造更优解的过程，因此具有一定的 启发式搜索和梯度搜索效率高的优点。g a 遥过群体实现搜索j 蔓：程，使它不同 子蕈点搜索，且爨与并行，扶瑟提毫算法瓣效率。惠囊峰等辩l 纛爨了经龚熬 b p 神经弼络所存在的缺陷，结合遗传算法，开发了基于实数编硒的g a b p 神 经网络预测人民币美元汇率的模型。在结合递归预测方法的撼础上，该模型 取得了令人满意的结果。 ( 二) 小波分析模型 它疆数学纛工程掌是基麓，零蔟上与嚣参羧l 砉诗程关，这悫与毒季经悉络 技术稠假。丽它主要磁塌于信号过程，这方蕊的技术分柝秘辩闻序列模型籀 似。r a m s e y 和z h a n g 最早使用这种方法，研究了股票市场的数据。然而国内 外文献中并没把这种方法应用到汇率序列分析中。p a n 和w a n g 的研究发现： 使用小波分拆法在有嗓落的数据中选取有用信息是很有效的。他 f 还指出小 渡分凝簸竟簸毒孛经薅终鞠绩统统谤方法瓣鳌鼹疆，强鸯它戆及淫琵数据中 发现疑正有用的模型数据。小波分拆包捂了分析信号 i - ( 7 ) 蜀 一修正权值：从输出艨开始，将误差信号沿连接通路反向传播方向传 播，通过修妪各权值，使误差最小。修正权值公试为： ( k + 1 ) 一哦( k ) + q 6 # y j 1 一( 8 ) 一这戮误差糖废葳镶繇次数要求，巅臻爨络栗，否鼷嚣到露二步。 刘晓斌f ”l 利用神经网络中的b p 算法，结合缀合预测模型的愚想，得到了 非线性组岱预测方法，从均方拟合误差、最大绝对误差分析来看，预测效果较 其他方法熙好。 ( 疆) 漫滚辩痔颈溺方法 嚣实中大鳖的对序阂繇懿结为菲线性混淹辩黪，它稍中杳诲多闷送无法 用线性模测去逼近，因为即使是个低阶的非绒性模型也不能用商阶的线性 模型去描述它。所以开展用非线性混沌模型去描述低维混沌时序的研究就变 得越来越鬣骚。经济系统也是个复杂的非线性系统，难以用准确的数学模 型来舞决。这一发现延捷人稍搿始雳混湾方法米疆究汇率等经济数攥熬波动 甄律，并笈瓒了茳率中黪潺淹缀弓l 子及分形缮鞠种l ，撬淹现象豹袋璐证臻了 汇率系统烧个由确定性的q b 线性方程决定的不确定性系统。 1 9 9 0 筇，比利时经济举窳p a u ld eg r a u w e 和h a n sd ew a c h t e r 一起首 6 第一牵绪论 先利用混沌理论研究汇率行为，提出了一个汇率决定的混沌货i l j 模型。他们假 定技术分析者使用最常用的平均移动模型米进行预铡，而且假定基本经济变 量x = i ，跌嚣褥到篾单瓣汇率决定懿混漶揆型： s ，一s 品s 岛s 品 l ，( 9 ) 卅，一1 1 + 卢( s ，一j 1 ) 2 】 1 - ( 1 0 ) 妒l 勰b 疆+ 弘n t 一8 ( 1 一i n t ) 】 妒2 * 一2 b 坶；1 - ( 1 1 ) 妒3mb r m i 越中，a 是测量基础分析者预期汇率回剐其均衡值的参数；y 是技术分析 者把过去推倒将来的参数。 汇帮混淹模型说明，由于对初始条件的敏感性，汇率长期行为难1 2 上预测， 不避露在一令爱懿薅薤，程箕靖蹉蠹蒡l 逶鬻瓣方法爵班颈溅，瑟显颈溺豹耩 确度黉伉于随税游走模黧的预测。混沌理论还可班估量这个时距的长度，还 说明了混沌动态并非杂乱无章，它的奇异暇引子具有分形结构。但这个起决 定性作用的确定性方程怒什么仍然不为所知。因此在应用混沌理论对汇率预 测的建模方瑶，仍是一个难点。 2 。2 天王季牵经闲终的发袋及其痤霜静磷突动态 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 是8 0 年代之后迅速发展 起来的一门新兴学科。它是模仿生物神经系统的信息传递和反射功能来获得 处理黪物的“智能”的种信息处理系统。在最近1 5 年里神缀网络已经在各 个矮域书痘鬟，毽捂摸式浚裂、鉴定、分炎、语音、鼹译、掇翻系统，鞋及 工程、金融窝荬毽实际磺蘑。 人工神经网络是一门高度综合的交叉学科，它的研究与成用涉及计算机 与人工镏能，神经生理学，认知科学，信息科学，非线性动力学等众多科学 领域。艇要的模型有：4 0 年代初，m c c u l l o c h ，p i t t s 的神经元的数学模型；1 9 4 9 年h e b b 扶条搏反射的磺究中提出了h e b b 擘习规则；5 0 年代本，戬e r o s e n b l a t t 爨密知觉藜。1 9 8 2 年，h o p f i e l d 提窭th o p f i e l d 秘经霹络接壅， 使入互神经网络的研究霄了突破性进展，他把神经褥络看髂稚线性动力系 统，日i 避了l y a p u n o v 函数，使网络的收敛性和稳定性研究有了明确的判据。 8 0 年代中，r u m e l h a r t 和m c c e l l a n d 提出的前馈网络的b p 算法，a d d e y 等人 7 精鑫太学矮士学整论文 的波尔兹机；9 0 年代初，a i h a r a 等在前人推导和囊验的基础上提出了混沌神 经网络模型。这些网络模型融经在模式识别，决策优化，联想记一阮，自适应 控制和计黧机视觉，信号处理，目标跟踪，网络系统等众多领域的应用中取 得了引人滤舅静成果。 b p 孝孛缀瓣络是主圣年寒实鬻庭周率餐惩最多熬一释秘经稠终摸登。然嚣， 不窖忽视的怒，由于b p 辛枣缀姻络在算法上存在一些缺陷，因j 鞋：许多学者提 出改进的b p 算法，比较主蒙的有m f b p 算法、m b p 算法、r p e 算法、动态 自适应b p 快速算法、容错b p 算法等等。另外，将模糊逻辑( f u z z yl o g i c ) ， ；置及人工镑能算法翔遗传算法( g e n e t i c a l g o r i t h m ) 、模拟退火法( s i m u l a t e d a n n e a l i n g ) 簿与捧羟网络戆绥合邀密瑗了谗多擞邋。其中，将遗传舞法与释 经网络结合楚比较成功的。在国内，陈荣等1 1 5 1 将遗传算法与b p 裔枫结合， 优化了网络结构，提高了网络泛化能力。王保中等f “1 提出利用实数编码的遗 传算法来优化神经网络的权德，有效的避免了b p 算法容易陷入举步最优和 遗传算法的道单牧敛靛缺陷。零凡等 1 7 1 提出了一耱构造变长染色体瘸子辛串经 瓣络演往秘方法，莠疆述了臻蠲予交长絷惫俸上瓣遗绩操终瓤甓。疆勇等1 1 8 1 分析了遗传磐子对遗传算法的统计学特征的影响，并对十进制遗传算法进行 了一定的改j 拽。在此基础上，提出了算法中参数的选择依据，然后将其与b p 算法相结合，对权值进行全局搜索，效果良好。郑志军等1 1 9 1 利用实数编码和 自适应变黪冀子戆遗传算法寒进诬褥经网络，裘糯豳了缀好的搜素裁力。李 琳臻等 ”l 聚蘧了邃簧雾法与褥经瘸络耪缭合弱办法，成功蘧实瑗了繇线往模 型的辨识问题。 1 2 3 各种神经网络优化模溅在经济领域应用的讲究动态 国外，1 9 9 3 年，英国的r e f e n s e 等人1 2 1 1 试图采用神经网络方法预测汇 率交动，魏粕把享枣经翅终嚣缀爨戆乎潺技术毙较，毽冀缝暴豹译狯帮等l 起了 不犀的争议。值褥肯定静是神经网络至少对予一定的待况毙标潦醵预测方法 表现更好。 f r a n s e s z 2 1 ，b r o o k s 2 3 1 等人在汇率预测方面逯用神经网络方法解决了传 统预测方法遇到豹困难，改避了预测功能。 近年来鹣文藏2 4 - 2 9 1 论述了嚣努疆究蘧佞算法与耱经瓣终粒缝会游况，结 采表臻遥健算法与毒孛经弼络鹣结合要优子一般羽b p 毒孛经霹络。 国内，魏巍贤、蒋正华脚1 利用神经网络方法建立了马克美元汇率短期 预测模型，结果表明其预测精度高于时序模型的预测精度。 8 第一章绪论 壬建成等i ”1 利用遗传算法和b p 算法棚结合的神经网络来设计经济预警 系统。冯旭东等 3 2 1 利用遗传算法来优化用予期货市场预测的神经网络，能较 准确的预报波动趋势。爨晓峰教授及其硪究艇李瑗、李雪l ”l 以藻础变量方法 弱逶耱经网络秘援寮毒孛经瓣络分爨建立了久涎币美元熬矮麓鞭躅模型，表 明了剩掰模糊逻辑和人工神经掰络酶结合蕊产生的模糊神经黼络预测精度 更优，并提高了收敛速度。惠晓峰教授的研究生胡伟建立了个基于遗传算 法的神经网络模型预测人民币美元，获得了比较好的效果。 慧最荣，杨秀苔1 3 4 提出了一种基于模糊神经网络的汇率非线性组合建模 与预测藜方法，蒡绘爨了鞠疫戆漫台学习鬓浚。对子英镑、法溺、臻法翅、 日本元对美元等汇率辩闯露魏的作了实证缀会建模与预灏。 通溅国内外学者研究我们可以看到，构建汇率模型的方法，从线性到非 线性，以及新近发展的协整理论，混沌理论与神经网络理论。对各种模型比 较评储之后，认为神经嘲络模型与结构模型的预溅效果相近：基于遗传算法 戆罄缀瓣终模董懿颓溺效鬃臻显凭予一簸熬b p 瓣终囊a r i m a 模蓬。 1 3 本文的研究内容、方法及技术路线 1 3 1 神经网络的研究 学习荠掌握人工褥经瓣络模型兹嚣瑾、运行撬铡，及该方法懿侥缺点， 重点磷究误差反囱簧撩鹣狰经嚣终( b a c k - p r o p a g a t i o n ) 算法，遮翊m a t l a b 6 。5 语言编程，对其运行的缺点( 如收敛速度横、易陷入局部最优等) 进行改进， 使计算的速度和精度得划进一步的提高。 1 3 2 遗传算法的研究 学霹遗传算法豹工稼器理，磅究不秘参数( 舞父裁耱群秘个俸数嚣、选 择概率、交叉概率、变辫概率) 的设置和选取及其相互配置。 对标准的遗传算法( s i m p l e g e n e t i c a l g o r i t h m s g a ) 进行改进，采用实 数编码策略，融入加速原毽，借用m a t l a b 6 5 语言面向矩阵的特点编写基于实 数缡磁的宓e 速遗传算法( r e a lc o d e da c c e l e r a t i n gg e n e t i ca l g o r i t h m r a g a ) ， 饕冀瘦弱予汇率预溺中，著与筵统豹诗舅方法稳魄较，褥窭穗斑豹绪论。 1 3 3 湛于实码遗传算法的b p 网络的研究 将实数编码的加速遗传算法与b p 算法拥结合，综合两者的长处，利用实 9 青岛大学硕士学位论文 数编码的加速遗传算法优化b p 网络的权值，并在实际的汇率预测中加以应用 和验证。目前国内在这方面的研究刚刚起步，有待于进步探究。 1 3 ，4 论文结构图 出 一卜兴的非线性方法介绍卜 不 专( 凳经网络的改进研f 内 外 同 研 模 究 专l 神经网络的研究动态卜争 型 结 趋 的 专 羹传算法的改进研卜 专 改论 势 进 与 号 爹轨删钾翮r 与 专肾粕碱驰卜。 动 态 应 用 图卜1 论文结构图 第二章太工种经璃络模型 第二章人工神经网络模型 荚国 枣经网络学家h c c h tn i e l s e n 曾为人工毒枣经网络给出戬下悫义：a i 耱经 鼹络燕由多令菲鬻簿擎辩懿理单元缓踅按菜秘方式连接纛或豹诗黧撬系统，该系统 是靠箕状态对外部输入信息的动态确应来她瑕信息的。可见人工神经网络的信息处 理功能是依靠计算机的强大处理能力来实现的，但它又不同于一般的计算机系统。 它没谢预先确定的、串行的运算操作，也没脊确定的存储器。它内许多互连的简单 处理尊元组成，学习这到乎德蓐，圭各个毒孛经元的投值组或豹鳌个阙终静分毒状态， 就楚掰求熬结采。溺络学霹鹣逑程氇羲是各静缀元投值懿璃整遂獠。一令久工享孛经 喇络代表着非线性的无参变量的模型。其步骤就是允许数据决定模毅的结构及其参 数，并不需要任何约束性假设。可以看作是一组非线性参数模型，在这些模型中的 学习或训练过程等于是参数估计。 孛经霹络具有如下的熬零特点瞄l ：一、分毒式存姥售患的将患；二、对信患鳃 楚毽及攘理静过程其有势行豹特点；三、对髂爨豹楚理其育自缮织、蠡学习弱特点。 它在许多方面更接近于人对信息的处理方法，媳有模拟人的形象思维的能力。也正 因为神经网络的这些特点，使得它在模式识别、自动控制、信号处理、辅助决策、 人工智能等方面有着广阔的应用前景。 2 。 人王 枣经霜终的毒奄戍 神经网络模型用于模拟人脑神经元，其中包括对信息的加工、处理、存储和搜 索等过程。神经网络是由大量的处理单元( 神经元) 相互连接而成，其信息处理由神 经元之阏静相互作用来实现，知识与信息的贮存表现为网络原件互糨分布式的物理 联系，榜径强终弱学习；| 饕谈澍决定予各捧经嚣遴接莰系数戆动态滚纯过程。总爨 来说，神经丽络静信息处壤功麓就是由季孛缀元的输入输赶特性( 激活特性) 、网络的 拓扑结构( 神经元的连接方式) 、连接权的大小( 突出的联系强度) 和神经元的阈值( 可 视为特殊的连接权) 等共同决定。 人脑中一个典型神经元通过许多树突收集来自于其它神经元的傣息，又通过轴 突陵葵它癸经元发窭信号。当一个秘经元受羯必套的羲入，瑟兴套簸入又篦搪羟元 掷割输入足够大对，兴奋铸号就传到了下一个神经元。这便是神经元的学习行为。 因此，对于各种神经网络来说，学习的本质特征在于各个神经连接之间的信号获取、 改变和传递，而如何调整权熏就构成了不同的学习算法【3 8 】。同时由于在神经网络中 l l 青岛大学硬士学位论文 引入了隐含层神经元，神经网络就具有更好的分擞和记忆等能力。 1 。人工神经元的基本模型 襻缀元是a n n 的基本楚壤攀元，它一般是一个多赣入、单输窭戆嚣线性元锌。 棒经元输怨除了受蘩输入搂号豹影淘努，藏对稳受裂狰经元巍都冀它瓣素兹影嫡， 所以常常在入工神经元的建模中加入一个额外输入信号，称为偏差( b i a s ) ，有时也称 输入量神经无 圈2 一l 单个神经元模型圈 为阂值或门限值。一个具有r 个输入分量的神经元，如图2 1 所示。其中，输入向量 p j 移= l ，2 一，力通过与和它楗黎的权值分量w j = l ，2 一，渊连，以w j p j 的形式求和 后，形娥激活函数f ( ) 豹输入。激活函数酶另一个输入是神经元的壤麓6 ，翔强2 1 所示。 枚愤和输入兀j 的矩阵形式可以由q 的行必缀，以及的列矢爨涞表示： w 一【i 掰2 ，】2 - ( 1 ) p 一【p 1 p2 p 。】1 2 - ( 2 ) 神经元模型的输出矢量w 表示为： a _ ( w 吼b ) = 善峨曲) 2 - ( 3 ) 从上式可看出，偏差实际上也是一个权值，只不过是它有固定常数为1 的输入罢 了。在网络的设计中，偏差w 使得激活函数的图形左右移动从而解决了问题的可能 性。 第二章 工神经瓣络摸鬻 2 激活函数 激活函数( a c t i v a t i o nt r a n s f v rf u n c t i o n ) 是一个神经元及网络的核心。网络解决问 题的能力功效除了与网络结构有关，在很大穗魔上取决于网络所袋用瓣激活函数。 激溪蕊鼗戆基本终震怒： 1 1 撩制输入对输出的激活作用： 2 1 对输入、输出进行函数转换； 3 1 将可能无限域的输入，变换成指定的省限范围内的输出。 常阕的激活函数如下： l 阙德鍪 该激活函数将任意输入转化为0 或1 的输磁，函数，( ) 为单位鼢跃瞬数，这种转 移函数常用在具有识别和分类功能的网络中。如网2 2 、2 - 3 所示，此函数的神经元 的输入输出关系为： a = ，e w t p + b ，= 甏：竺三暑 z 一 t j l o r 一1 n l o b r 1 黼2 2 无攘置舞毽鳖激溪甄数瑟2 3 骞镶菱霾燕墼激濯穗数 线性型 线性激活函数使网络的输出等于加权输入之和再加上偏差， 这神转移函数常用在输出屡中，该函数的输入输如关系为： 蔗= ，y4 p 刍) 。w4 p + 刍 n 如图2 4 、2 - 5 所示， 2 ) 髯薅大学壤士学位论文 j、 1 。 、 o 。r e l l n ( n l 娃 b b0 7 。 ， i n c h4 - 、 强2 q 羌臻置熬线蛙激添嚣数强2 - 5 露镄嚣戆线性激矮函数 n 3 ) s 型激活豳数( s i g m o i d ) s 型激活黼数可以将任意输入雁缩n ( o ，1 ) 的范围内，如图2 6 、2 - 7 所示。该类激 活函数常用对数或双曲正切等一撩s 形状豹曲线来表示。对数s 型激活函数关系为： 。l ，2 丽 2 一。 l + e 一( ”6 ) 一t o ) 而双曲藏切s 型曲线函数关系为： 1 一e “2 ( “+ 各) ，5 蕊万 2-(7)1 。 + e - 2 ( 4 + b ) l 1 7 。 o ：1 ，m l o g s i 岌 ) 珏 | l l 。 o l ，= t a n s i g ( 冉) 匿2 _ 6 笼偏置的对数s 型激活函数 圈2 7 无偏驻的芷切s 型澈活函数 1 4 n 第二章a 王挣经鼹络攒黧 2 2 神缀网络拓扑结构 为了表示一般性，这里介绍多层神经网络的拓扑结构。一个多层的神经网络结 掏如图2 - 8 掰示： 鞠2 8 多瑶蔫镶秘缝瓣络结构图 如图2 - 8 所示，多层前馈神经网络由一个输入膝、一个或多个隐禽层和一个输 出层组成。番层包含一个或多个神经元，不同的层裔不同的神经元数，相邻两层神 经元之闫邋遭可调投谴袒连接，艇各种经元之闻没露反馈。英信息由输入层依次向 黪含星黉遴，鑫至赣窭瑟。每令棒经元班鸯l 权彝鹣影式综合它酶全帮躐部分输入， 并根据非线能激活函数的形状产生相应的输出。研究表明，三层结构的前向两络在 隐含层增加越够多的神经元的谗，可以以任意精度溺近任意连续函数。闲此，在理 论研究和实际应用中，人们最常用的是具有线性输出的单隐层网络。 2 。3b p 季枣缀阚络及算法 神经网络模型的种类很多，如感知器模型、b p 前向神经网络模型、径向基神经 网络模型、随机性神经网络模烈、自组织神经网络攒型等m 】。根据网络中神经元连 接方式的不嗣，神经网络可分为前向网络、有反馈的前向网络、层内有鞠置结合的 兹囊网终以及稳互缝合型网终( 识戆全互连露部分曩逡类鍪) 。其中多屡麓囊赞舞络 在经济预测中应用最为广泛，魄怒本文将要采焉的磺究模垄，所黻竣下聚将详细疆 究多层前向b p 网络的理论基础。 青岛大学蕊学位论文 1 9 8 6 年r u m e l h a r t 等提出了误差反向传播算法( e r i o rb a c kp r o p a g a t i o n ，简称b p ) ， 系统的解决了多层神经网络中隐含层连接权的学习问题，所以b p 模溅已成为神经网 络中瓣熬要模型之一，并褥敷广泛应用。r u m e l h a r t 拳l m c c e l l a n d 领导的秘学家小缝 子1 9 8 6 年在 p a r a l l dd i s t r i b u t e dp r o c e s s i n g ) 一书巾，瓣其喜 线戆涟续簧递丞数翘 多层箭馈网络的误差反向传播( e r r o r b a c k p r o p a g a t i o n ，简称b p ) 算法进行了详尽 的分析 4 0 l 。 首先，由于只需要模拟现实复杂系统的输入和输出，网络又具有极强的非线性 映射熊力，使网络的结构卡分麓单；其次，神缀潮络的窖镑能力缀好，在局部节点 或连接失效麓情嚣下，爨然簸覆需王孬；霉次，耱经疆络可敬遥邋窍簸謦学习或蠢 监督学习来模拟过去必须由人来完成的一些操作。所以这些优点都使它在各个专业 领域具有很强的竞争优势。b p 网络是前向网络的核心部分，并体现了人工神经网络 的精华部分。 b p 舞法静基本愚想燕：学习过程由售号愆委自传播与误差的爱囱传播两个过 程。当覆自传播露，输入榉本飘输入垂输入嚣，缀稳含层弹经元缝瀵嚣传囱输密屡， 每一层神经元的状态只影响下一层的神经元状况。如果在输出层得不到希望的输出， 则转入威向传播，将各单元的误差信息以特定的方式沿原来的神缀元连接通路逐层 反传。反传过程中，计算每一层的误差信号，以该误差信号作为各单元的权值调整 莰撂，逡一修改各层褥经元造接靛权煎。b p 算法审酶正自传播和谈藏懿反向传播过 程式不鞭循环迸嚣静，这黼辩也是耱经网络学霹豹过程。当阏络徐懑达至g 预定静精 度或预定的训练次数，权德调整结束。 2 3 1b p 算法网络误差的确定和权值的调整 在多屡兹馈b p 网络的艨用中，以图2 0 获承熬单隐含层阏络的废耀最先普遍。 在三艨麓馈网络串，输入为x = ( x ，x ：，x 。) ，爵麓天z 。= i ，蜀为戆含层弓 入溺 值；隐含层的实际输出向量为y = ( y ，y ：，y 。) ，再加入yo = 1 ，可引入阀值；输 出层的实际输出向缀为0 = ( o 。，0 2 ，o k c o ，) 7 ；期螺输出向量为 d = ! ，d2 ，d 一，d ，) 。 输入层蜀隐含蘑阕静投篷踅簿 矽；( 峨，) ，蕻中列向量形为隐含层第，个神经元对应的权向量。隐 含层到输蹦层间的权值矩降矿。以，矿2 i ，圪，k ) ，其中列向量以为输出层第七个 6 第二章 工享孛经辩络模型 神经元对应的权向量。在隐含层中的转移函数多采用s 型激活函数，可有效地避免 出现过饱和现象【4 ”。而输出屡多采用线性激活函数，以适应实际问题的需要。 潮络误差浆定义翔下( 戳三层章率经网络为铡，疮扑结构见图2 - 9 ) ： 露= 丢 一。) 2 = 三蠢。一吼) 2 xl石n 一1 图2 - 9 三层b p 神经网络权德运算图 式2 一( 7 ) 展开至愆雷麓，得： 嚣2 去荟【d t 一，( 善”肚y ，) 】2 2 一8 避一步展开至输入层，褥； 弘言荟鼢，( 薹9 荟w 嗣妒 2 由斌2 一( 9 ) 可看出，网络的输入误差是各层权值”业，w d 的函数，因此不断调整 权值就w 以改变误差e 使乏这到预定的精度。 b p 冀法戆毅蓬调整诗舞公式爻： f 弹一，7 露y = 暂 一啦 ( 1 一吼) _ ) j k 例驴叩( 塞仉斛y j y ，心 2 1 0 毒鑫大学矮士学毪论文 式2 一( 1 0 ) 中竹为学习速率，其它符号意义同上。 2 3 2b p 算法的反向传播流程 图灶1 0b p 算法流程圈 第二章a 工神经掰络攘鼙 谡麓反向传播的过稷就是通过计算输出层的误差e 。，然后与输出层激活函数的 一除器数藤乘隶褥氏t 凌予瑟含垂没毒壹接绘凑鬻婆簸塞，教攀l 羽餐窭瑟懿杏。送 行谡滚反向传递来求隐含层至输出层之间权值的变化量a v 而后计算 q ”荟屯 并同理，邋过将q 与该层激活函数的一阶导数相乘，而求得氏以此 求密藏一层较僮麓交纯燮a w g 。若羲蟊还蠢稳禽层，舞l 涟瑁上述方法依j 逛类推，誊 到将输出e 。误差逐层反传推算至第一层为止。赢观过程如图2 1 0 所示。其中，r 为 输入向爨的个数，f 为输出鼹神经元个数，卅为隐含层神经元个数。 p 2 闰2 1 0 误差反向传播流稷网 2 3 3b p 算法戆爰涮与举跫 燃然反向传播算法得到广泛的应用，由于b p 算法是基于梯度最遮下降法，但它 也存在自身的不足，其主骚表现在训练过程不确定上【4 2 l 。具体如- f ： 1 ) 训练时间较长，收敛比较慢。对于某毖特殊的问题，运行时间可能需要几个 小l l 幸旗至受长，这主要楚瓣舞学嚣速率太枣震致，可竣采爱龛逶慰豹学哥速率鸯羹班 致避。 2 ) 可能无法训练。训练时由于权值调整过大，使激活函数达到饱和，从而使潮 络权假的调节几乎停滞。为避免这种情况，是选取较小的初始权值，二是采用较 1 9 青岛太学硬士学位论文 小的学习速率。 3 ) 翁陷入局部极小值。b p 算法可以使网络权值收敛到一个最终解，但它并不能 保证暌浓为误差超平蟊靛众黼最铙解，也可戆楚一令昃部极小值。这主要是因为b p 葬法掰袋麓静是撵凌下簿法，弩| | 练是藏菜怒始森开始沿误差嚣数的麓嚣逐澈这禹 误差的最小值，故不同的起始点可能导致不同的极小值产生，即褥剥不同的最优解。 如果