（计算数学专业论文）基于神经网络的汇率预测.pdf

大连理工大学硕士学位论文 摘要 作为一个重要的经济变量，汇率的变动对国内利率的变动、国民收入的增减、工农 业的发展以及就业等方面都有着重要的影响。自从布雷顿森林体系崩溃以来，西方各国 纷纷实行了浮动汇率制度，由此带来的外汇风险对于国际贸易、投资以及国际金融等都 有非常关键的影响。因此，各国都需要掌握外汇避险手段和避险方法，提高自身的汇率 风险管理水平，增强自身对于汇率浮动的适应能力和对于汇率变动的应对能力。神经网 络具有良好的函数逼近能力，因此在预测领域可以取得良好的效果。近年来，各种神经 网络模型被用来预测汇率。 本文分为四章： 第一章包括绪论和汇率相关基本问题的简述。主要介绍了汇率的含义、标价、种类 和目前几个重要的汇率决定理论，归纳了一些影响汇率变动的因素，并对当前汇率预测 的研究情况做了概述。 第二章主要介绍了本文进行汇率预测的基本方法：神经网络。介绍了神经网络的概 。念和其研究历史，分析了神经网络的基本原理和神经元结构，列举了神经网络的分类和 特征，然后对基于神经网络进行预测的研究现状做了综述。 第三章详细介绍了本文进行汇率预测采用的算法：极端学习机( e x t r e m el e a r n i n g m a c h i n e ，e l m ) 算法的原理、发展和算法流程等。 第四章建立了基于极端学习机的单隐层前馈神经网络汇率预测模型，并将该模型运 用于现实的汇率预测当中。通过人民币美元和英镑美元的最新数据对网络进行了训练 和预测并对预测结果进行了分析。试验结果表明e l m 在汇率预测应用中是有效可行的， 具有较快的学习速度和较高的准确度。 关键词：极端学习机；汇率；预测；单隐层前馈神经网络；随机 基于神经网络的汇率预测 p r e d i c t i o no f e x c h a n g er a t eb yn e u r a ln e t w o r k s a b s t r a c t a sa l li m p o r t a n te c o n o m i cv a r i a b l eo ff m a n c i a lm a r k e t ，e x c h a n g er a t eh a sa l li m p o r t a n t e f f e c to nm a c r oe c o n o m y a f t e rt h eb r e a k d o w no ft h eb r e t t o n ，o o d ss y s t e m f l o a t m g e x c h a n g er a t es y s t e mh a sb e c o m et h em a i ne x c h a n g er a t es y s t e mi nt h ew e s tc o u n t r i e s e x c h a n g er a t er i s kb e c a m eo n eo fn l em o s ti m p o r t a n tf i n a n c i a lr i s k s w h i c hg r e a t l ya f f e c t s i n t e r n a t i o n a lt r a d e ，i n v e s t ，a n df i n a n c e t h e r e f o r ei th a sb e e ng i v e nm u c ha t t e n t i o na n da l l c o u n t r i e sa n dm a n yc o m p a n i e sh a v et ot a k em a n ym e a s u r e si no r d e rt om a k et h eb e s to f e x c h a n g er a t ef l u c t u a t i o n n e u r a ln e t w o r k sh a v eg o o da p p r o x i m a t ec a p a b i l i t ya n dh a v eb e e n s u c c e s s f u l l yu s e df o rp r e d i c t i o n r e c e n t l y ，v a r i e t i e so fn e u r a ln e t w o r km o d e l sh a v eb e e nu s e d f o rp r e d i c t i o no f e x c h a n g er a t e t h et h e s i si sm a i n l yd i v i d e di n t of o u rc h a p t e r s ： t h ef i r s tc h a p t e rg i v e sap r i m a r i l yi n t r o d u c t i o no ft h ee x c h a n g er a t e i tb r i e f l ye x p l a i n s t h em e a n i n go fe x c h a n g er a t e ，s o m ec u r r e n te x c h a n g er a t et h e o r y ，a n da n a l y s i sf a c t o r sf o rt h e e x c h a n g er a t e t h e n ，i to u t l i n e st h eb a s i cm e t h o do fe x c h a n g er a t ep r e d i c t i o na n ds u m m a r i z e s t h es t a t eo fa r to ft h ee x c h a n g er a t ep r e d i c t i o n t h es e c o n dc h a p t e rg i v e sab r i e fi n t r o d u c t i o no ft h en e u r a ln e t w o r k w h i c hi su s e dt o p r e d i c tt h ee x c h a n g er a t ei nt h et h e s i s i ti n t r o d u c e st h ec o n c e p to fn e u r a ln e t w o r k sa n di t s r e s e a r c hh i s t o r y ，a n a l y z e st h eb a s i cp r i n c i p l e sa n dt h es t r u c t u r eo fn e u r a ln e t w o r k s a n dt h e n s u m m a r i z e st h et y p e sa n dt h ef e a t u r e so fn e u r a ln e t w o r k s f i n a l l y ，i to u t l i n e st h ec u r r e n tt r e n d o ft h ee x c h a n g ep r e d i c t i o nb yu s i n gt h en e u r a ln e t w o r km o d e l s t h et h j r dc h a p t e re x p a t i a t e st h e t h e o r y ，d e v e l o p m e n ta n da l g o r i t h mo ft h ee x t r e m e l e a r n i n gm a c h i n e ( e l m ) b a s e do nt h o s e ，t h ef o u r t hc h a p t e re s t a b l i s h e st h ee l mn e u r a ln e t w o r km o d e l a n du s e s i tf o rt h ep r e d i c t i o no f e x c h a n g er a t e n u m e r i c a le x a m p l e ss h o wt h a te l mn e t w o r ki sag o o d t o o lf o rn l ep r e d i c t i o no f e x c h a n g er a t ed u et oi t sf a s tl e a r n i n gr a t ea n dh i g hp r e c i s i o n k e yw o r d s ：e x t r e m et e a m i n gm a c h i n e ；e x c h a n g er a t e ；p r e d i c t i o n ； s i n g l e 。h i d d e nl a y e rf e e d f o r w a r dn e u r a tn e t w o r k s ；r a n d o m i i 大连理工大学硕十学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 作者签名： 乏也咚日期：赳年钲月丑日 导师签名：易憋一日期珥年丘月五日 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目： 作者签名： 大连理工大学硕士学位论文 1 绪论 1 1 选题背景及意义 作为一个重要的经济变量，汇率的变动对国内利率的变动、国民收入的增减、工农 业的发展以及就业等方面都有着重要的影响。自从布雷顿森林体系崩溃以来，西方各国 纷纷实行了浮动汇率制度，由此带来的外汇风险对于国际贸易、投资以及国际金融等都 有非常关键的影响。因此，各国都需要掌握外汇避险手段和避险方法，提高自身的汇率 风险管理水平，增强自身对于汇率浮动的适应能力和对于汇率变动的应对能力。 作为外汇风险管理的基础，汇率预测是外汇风险管理工作的重要步骤。如何准确地 预测汇率的变化趋势和变化程度具有非常重要的意义。因此，汇率预测的研究一直受到 国内外很多学者关注，大量的计量经济模型和时间序列模型被用于汇率预测。人工神经 网络模型是一种基于时间序列分析的预测方法。人工神经网络具有大规模并行处理、自 组织性、自适应性、良好的容错性和联想记忆功能等优点，在预测汇率时，能更充分 地反映出汇率波动的非线性和时变性。总结国内外学者的研究成果，利用神经网络进行 汇率预测有三大类模型，分别是同质神经网络模型【l 一钉，异质神经网络模型【5 - 8 】和神经网 络组合模型一一引。 极端学习机1 1 4 】( e l m ) 是一种人工神经网络模型训练新算法，它是南洋理工大学 h u a n g 博士在2 0 0 6 年提出的。极端学习机将传统的人工神经网络参数训练问题转化为 不相容的线性方程组求解问题，根据( m o o r e p e n r o s e ) ( m p ) 1 5 】矩阵理论，求解该方程组具 有最小范数的最, b - 乘解析解作为网络的权值参数，能够很好的克服一般人工神经网络 预测模型训练时间长、泛化能力差等问题。 本文尝试将极端学习机网络模型用于汇率的预测中，建立了人民币美元和英镑美 元的e l m 汇率预测模型，并对预测结果进行了分析。 1 2 汇率相关的基本问题简述 1 2 1汇率的含义及种类 汇率l l6 】是用一个国家的货币来表示另个国家的货币价格，是两种货币交换时的折 算比率，也可以说是货币的相对价格。它从本质上反映的是不同国家的货币之间的价值 对比关系。 汇率水平在国际问通常以直接标价法和简介标价法两种方式来标价。以一定单位的 外国货币为标准，折算成若干单位的本国货币的汇率表示方法叫做直接标价( t h ed i r e c t 基丁神经网络的汇率预测 q u o t a t i o n ) ，简称为直接汇率；以一定单位的本国货币为标准，折算成若干单位的某种外 国货币的汇率表示方法叫做间接标价法( t h ei n d i r e c tq u o t a t i o n ) ，简称为间接汇率i i 7 | 。 汇率的种类很多，在这里只讨论几种常见的： ( 1 ) 按汇率的稳定性可以分为浮动汇率和固定汇率。 固定汇率( f i x e dr a t e ) 是指一国货币同另一国货币的汇率基本固定，其波动被限制在 极小的范围内，波动幅度很小。浮动汇率( f l o a t i n gr a t e ) 是指一国货币当局不规定本币对 其它货币的官方汇率，外汇汇率完全由市场供求关系来决定。事实上，完全由市场来决 定汇率的浮动并不存在，各国货币当局都会审时度势地干预外汇市场，实行有管理的浮 动。 ( 2 ) 按汇率是否适合于不同来源与用途可以分为单一汇率和多重汇率。 单一汇率( s i n g l er a t e ) 是指一国对外只有一个汇率，不同来源和用途的外汇收支均 按次进行结算。多重汇率( m u l t i p l er a t e ) 是指一国对某- - 夕b 币的汇价因来源与用途不同而 规定两种以上的汇率。 ( 3 ) 按汇率交易期限可以分为即期汇率和远期汇率。 即期汇率( s p o tr a t e ) 是指买卖双方在达成交易后的两个工作日内进行外汇资金收付 的汇率。远期汇率( f o r w a r dr a t e ) 是指买卖双方在达成交易后的一定时期以后( 比如一个 月、三个月等) 进行外汇资金交割的汇率。 1 2 2 汇率的决定理论 在西方国际金融理论中有很多关于汇率的理论，这些理论从不同的角度来解释汇率 的决定和波动。预测汇率时必须首先了解汇率决定理论和影响因素。本节简要的探讨几 种著名的汇率决定理论。 ( 1 ) 购买力平价理论( p u r c h a s i n gp o w e rp a r i t y ) 购买力平价理论【1 8 】是最早用数量方法表达的汇率决定理论，由瑞典经济学家卡塞尔 ( gc a s s e l ) 于1 9 2 2 年发表的1 9 4 4 年以后的货币与外汇理论一书中提出和完整地阐述。 该学说认为，本国人之所以需要外国货币，是因为这些货币在外国市场上具有购买力， 可以买到外国人生产的商品和劳务；外国人之所以需要本国货币，则是因为这些货币在 本国市场上具有购买力，可以买到本国人生产的商品和劳务。因此，一国货币对外汇率 主要是由两国货币在其本国所具有的购买力决定，两种货币各自具有的购买力的比率决 定了两国货币的兑换比率。 购买力平价理论认为短期均衡利率是长期均衡利率的函数，短期均衡利率趋向于长 期均衡利率，而购买力平价是决定长期均衡利率的重要因素。 大连理t 大学硕士学位论文 ( 2 ) 利率平价理论( t h ei n t e r e s tr a t ep a r i t y ) 利率平价理论【l8 】是由英国著名经济学家凯恩斯( j k e y n e s ) 于1 9 2 4 年提出的。该学说 认为汇率变动于两国间的利率之差有关，投资者根据两国的利率之差大小以及对未来汇 率的预期进行投资选择，以期获取收益或避免风险。利率平价理论不是从货币购买力和 商品价格着手，而是从国际间的资本套利着手分析汇率变动的原因和规律。该学说认为 短期汇率波动是由本国与外国的相对利率之差决定的。 ( 3 ) 理论预期汇率理论与新闻模型 该理论认为，将来的即期汇率为远期汇率与风险收益的求和，再加上一个随机误差 项。该理论不是从决定汇率的根本因素出发，而是把人们对金融市场上随时出现的信息： 新闻消息的反应作为切入点，运用统计学和计量经济学的手段来研究即期汇率变化的规 律。 汇率的新闻模型是在理论预期汇率理论基础上进一步发展起来的，该模型主要解决 了用理性预期和市场有效地假设理论进行汇率预测时产生的误差项问题。在新闻模型 中，这种误差被归因于过去和现在发生的新闻，既包括利率、货币供应量这类对汇率起 着重要作用的基本信息，也包括石油价格、政策制度等表面上看上去和汇率不相干的新 闻。该理论认为汇率波动应该用不断进入外汇市场的新信息来解释，因为汇率的变动可 能是反映基本因素的非预期变动。该理论的重要特征是研究各种信息对汇率的影响，是 对原来汇率模型的一种扩展。 ( 4 ) 资产组合汇率理论( t h ep o r t f o l i ob a l a n c em o d e l ) 。 该理论是由美国经济学家布兰森等人于7 0 年代提出的。该理论综合考虑了国际借 贷、进出口贸易、国民收入和货币等因素对汇率的影响。认为汇率是由货币因素和实体 经济因素引发的资产条件和资产评价过程共同决定的，而不仅仅是由货币市场的需求和 供给决定的。 ( 5 ) 国际借贷汇率理论 该理论是葛逊1 8 6 1 年出版的外汇原理一书中提出的在金本位制度下的汇率理 论。该理论从外汇供求关系变化的角度阐述了汇率变动的原因，故又被称为“国际收支 说”或者“外汇供求说”。该理论认为汇率的变动是由一国对其它国家的债权与债务来 决定的。如果一国出现了国际借贷出超，国际市场对于该国货币需求量大于供给量，该 国货币外汇率就会趋于上涨，升值。反之，一国出现了国际借贷入超，该国货币的需求 量小于供给量，该国货币汇率就趋于下降，贬值。 基丁神经网络的汇率预测 1 2 3 汇率的影响因素 影响汇率变动的亚音速是极其错综复杂的，同一个因素在不同国家、不同时间所起 的作用不相同，各个因素之间又是互相依存、互相制约的关系。而且随着世界政治和经 济形势的发展，影响汇率的这些因素和它们所占的地位也会经常发生变化。 影响汇率变动的因素可以分为短期性因素和长期性因素。短期性因素主要有利率水 平、货币供应量、政府的干预以及新闻和心理因素等因素。长期性因素主要有国际收支、 经济增长率和通货膨胀率等因素。下面主要选择几个比较重要的因素来分析他们对汇率 变动的影响。 ( 1 ) 国际收支。国际收支状况是一国汇率变动的直接原因，一国国际收支发生顺 差，就会引起外国对该国货币需求的增长与外国货币供应的增加，顺差国的汇率就会上 升：反之，已过国际收支逆差，它的货币汇率就会下降，货币就会贬值。 ( 2 ) 利率。利率作为货币的价格，对汇率的变化影响很大。利率上升，国外资本 流入；利率下降，国内资本流出。这种由两地利率之差引起的套利活动是国际资金流动 的一种主要方式。资本流动将引起外汇市场供求变化，从而对汇率变动产生影响。如一 国利率上升将会导致银根紧缩，消费和投资需求减少，这在一定程度上会促进进1 ：3 、抑 制出口，从而导致该国货币升值，即汇率上升；反之，则引起货币的贬值，即汇率下降。 ( 3 ) 经济增长率。两国经济增长率的差异，往往构成汇率变动的基础，因为它会 影响对外贸易和# l i f e 市场交易活动的变化。一般而言，经济增长加速、收入增加、国内 需求水平提高，会引起更多的进口，从而导致本国货币汇率下降的趋势。反之，当一国 发展较慢时，便容易推动该国汇率上升。 ( 4 ) 通货膨胀率。一国货币价值的总水平是影响汇率变动的一个重要因素，它影 响着一国商品、劳务在世界市场上的竞争能力。通货膨胀时，国内物价上涨，国内消费 水平降低，一般会导致进口商品的增加和出口商品的减少。这些变化通过影响外汇市场 上的供求关系和该国货币在国际上的信用地位，导致汇价下跌。 ( 5 ) 外汇储备。中央银行持有的外汇储备表明一国干预外汇市场和维持汇价的能 力，所以它对稳定汇价有一定的作用。但是需要指出的事，只有一国拥有足够的外汇储 备，才能有效地干预外汇市场，影响汇率短期变动的方向和程度。 ( 6 ) 政策因素。政策因素是指各国政府为了稳定汇率，通常通过直接和间接的途 径对外汇市场进行的干预。如中央银行在外汇市场上的外汇买卖行为；调整一国的利率、 财政政策、货币政策以及贸易政策等等。 大连理下大学硕士学位论文 ( 7 ) 新闻和心理预期。现实生活中，投资者往往根据自身对汇率的主观预期来采 取相应的经济行为，这往往会起到加剧汇率波动的作用，对外汇市场有一定的影响作用。 1 2 4 汇率的预测方法 在汇率预测模型方面，国外学者已经取得了显著的进展，已经从不同角度并使用大 量的数学模型和实证分析，对外汇市场和外汇汇率进行了深入的分析研究，形成了各自 不同的观点和模型。参考大多数的文献【1 1 3 】，汇率预测的方法基本上可以分为结构变量 预测方法( s t m c t m a la n a l y s i s ) 和时间序列分析方法( t i m es e r i e sa n a l y s i s ) 。 ( 1 ) 结构变量预测方法。这种研究方法是以现有的汇率决定理论( 如购买力平价 假说、国际收支学说、利率平价假说、资产市场假说等) 为基础，在汇率与影响汇率的 各种经济变量之间建立线性模型的汇率预测方法，它以计量经济学方法为代表，也称作 基础变量预测方法。这种方法不仅要求假设一系列的因果关系，而且要求预测时能利用 数学模型概括这一系列因果关系。由于建立了汇率和基本的宏观经济变量之间的数量关 系而得到了长期的重视。在预测汇率的长期变动趋势上，这种预测方法是可行的，但是 在判断汇率变动的具体时间和预测短期汇率变动方面的效果不是十分理想。 ( 2 ) 基于时间序列分析的预测方法。时间序列是将某一个指标在不同时间上的不 同数值，按照时间的先后顺序排列而成的数列。该预测方法主要根据汇率的历史数据对 汇率进行预测，也称为技术预测法。近年来，由于新的计量工具不断地引入和应用，使 得时i 、日j 序列分析在汇率预测中占据了非常重要的位置。常用的时间序列方法有随机游走 模型( r w ) 、回归模型( a r ) 、指数平滑模型( e s ) 和g a r c h 模型等，随着高级数学工具的 引入，时间序列预测方法有了新的发展，如引入马尔可夫链方法，贝叶斯向量自回归模 型( b v a r ) 、阈值模型( t h r e s h o l dm o d e l ) 以及神经网络模型等等。时间序列分析预测方法 的理论基础是“价格反映所有信息的强效市场理论，在各国汇率制度转向浮动汇率的 时候发展迅速。但是即使是在完全实行市场经济的情况下，市场运作的实际情况也往往 达不到所谓的“价格反映所有信息”，尤其是在政策干预比较大的国家，因此该预测方 法在某些情况下的预测误差可能会比较大。 1 3 本文的主要结构 本文在结构上分为四章： 第一章包括绪论和汇率相关基本问题的简述。主要介绍了汇率的含义、标价、种类 和目前几个重要的汇率决定理论，归纳了一些影响汇率变动的因素，并对当前汇率预测 的研究情况做了概述。 基于神经网络的汇率预测 第二章主要介绍了本文进行汇率预测的基本方法：神经网络。介绍了神经网络的概 念和其研究历史，分析了神经网络的基本原理和神经元结构，列举了神经网络的分类和 特征，然后对基于神经网络进行预测的研究现状做了综述。 第三章详细介绍了本文进行汇率预测采用的算法：极端学习机( e x t r e m el e a r n i n g m a c h i n e ，e l m ) 算法的原理、发展和算法流程等。 第四章建立了基于极端学习的单隐层前馈神经网络汇率预测模型，并将该模型运用 于现实的汇率预测当中。通过人民币美元和英镑美元的最新数据对网络进行了训练和 预测并对预测结果进行了分析。试验结果表明e l m 在汇率预测应用中是有效可行的，具 有较快的学习速度和较高的准确度。 大连理t 大学硕士学位论文 2 人工神经网络理论 2 1人工神经网络概述 近年来，非模型( m o d e l f r e e ) 方法逐渐被用于预测领域。其中人工神经网络( a r t i f i c i a l n e u r a ln e t w o r k a n n ) 在经济系统中的应用同渐增多，在经济分析、最优化、预测等领 域得到了大量的应用，取得了良好效果。 人工神经网络简称为神经网络( n n ) 1 1 9 - 2 1 】，是在对人脑或自然神经网络的组织结构 和运行机制的认识理解基础上，用数学方法和从信息处理的角度对人脑神经网络若干基 本特性的抽象和模拟，建立某种简化的数学模型。其目的在于模拟大脑的某些机理与机 制，实现某个方面的功能。从结构上看，人工神经网络由若干简单处理单元( 也称神经 元) 按照不同方式相互连接而构成，是具有高度的并行性和高速的信息处理能力的非线 性动力系统。拓扑结构、结点特征和学习算法是确定一个神经网络的三个要素。它通过 一定的合理的样本训练和学习专家的经验，并通过引入非线性函数来求解各类复杂的非 线性问题，因此它具有高速的信息处理能力和较强的模式识别能力。由于人工神经网络 能够利用所要研究的系统的一些历史数据进行网络训练，即具有通过训练来进行学习的 能力，从而使它具有预测数据变化趋势的能力，因此它特别适用于资本市场这种数据比 较丰富但模型相对较弱的系统建模。作为人类智能研究的重要组成部分，神经网络已经 成为神经科学、脑科学、心理学、认知科学、计算机科学和数理科学共同关注的焦点。 2 2 人工神经网络的历史发展 神经网络领域研究的背景工作始于1 9 世纪术和2 0 世纪初，主要代表人物有h e r m a n v o nh e l m h o l t s ，e r n s tm a c h 和i v a np a v l o v 。这些早期研究主要还是着重于有关学习、视 觉和条件反射等一般理论，并没有包含有关神经元工作的数学模型。现代对神经网络的 研究可以追溯到2 0 世纪4 0 年代w s m c c u l l o c h 和w a l t e rp i t t s 的工作。 1 9 4 3 年，心理学家w s m c c u l l o c h 和数理逻辑学家w a l t e rp i t t s 根据人的神经元 结构提出了一种形式化神经元模型( m _ p 模型) ，他们从原理上证明了人工神经网络 可以计算任何算术和逻辑函数，并将其用于图像处理和模式识别等。这是第一个用数理 语言描述脑的信息处理过程的模型，从此开创了神经网络理论研究的时代。半个多世纪 以来，神经网络经历了兴起、高潮、萧条、复兴及稳步发展的曲折道路。 1 9 4 4 年，心理学家d o h e b b 提出了改变神经元连接强度的h b b 规则1 2 2 。，它们至 今仍在各种神经网络模型中起着重要作用。 基丁神经网络的汇率预测 1 9 5 7 年，计算机科学家f r o s e n b l a t t 和他的同事给出了一种能够进行简单学习的 网络模型，称之为感知机( p e r c e p t r o n ) ，并证明了在某种条件下算法的收敛性。r o s e n b l a t t 和其他一些研究者曾对其报以很高的希望，以此为代表，神经网络形成了首次研究高潮。 1 9 6 2 年，电气工程师b w i d r o w 和m h o f f 提出了自适应线性元件( a d a l i n e ) ，这是一 个连续取值的线性网络，它在结构和功能上类似于r o s e n b l a t t 的感知机。在信号处理系 统中用于抵消通讯中的回波和噪声，应用十分广泛。 但是，1 9 6 9 年，美国著名人工智能学者m m i n s k y 和s p a p e r t 编写了影响很大 的( ( p e r c e p t r o n ) ) 一书。该书指出，简单的神经网络只能用于线性问题的求解，能够求 解非线性问题的网络应该具有隐层，从而在理论上证明了感知机的能力有限，诸如不能 解决异或问题。因此证明了单层感知机分类能力的局限性，并指出只有做某些改进才会 使其能力得到增强。至于能否找到一种有效的改进算法，m i n s k y 的态度是悲观的。他 们的分析恰似一瓢冷水，让很多学者感到前途渺茫而纷纷改行。在这之后近十年，神经 网络研究进入一个发展缓慢的萧条期。 尽管如此，在此期间仍有不少研究人员不断努力，为神经网络研究的复兴和发展奠 定了理论基础。如：1 9 6 9 年，s g r o s s b e r g 和g a c a r p e n t e r 提出了著名的自适应共振 理论模型【2 3 】( a d a p t i v er e s o n a n c et h e o r y ) ；1 9 7 2 年，t k o h o n e n 提出了自组织映射理 论【2 4 】( s o m ) ；k f u k u s h i m a 提出了神经认知机网络模型。 一直到了8 0 年代，美国生物物理学家j j h o p f i e l d 于1 9 8 2 年、1 9 8 4 年在美国科 学院院刊发表的两篇文章，有力地推动了神经网络的研究，引起了神经网络的又一次 高潮。h o p f i e l d 提出了一种新的非线性网络模型【2 5 】( h o p f i e l d 模型) ，这种神经网络的 运行机制是要求网络的能量函数达到最小状态。h o p f i e l d 模型可以模拟联想机制，在信 息不完全或者是受干扰的情况下，图像仍能恢复到原来的清晰状态。更为重要的是， h o p f i e l d 用这种网络来解决旅行商问题，可以在概率意义下获得最优路径，并且可以使 用模拟退火技术使概率增加。这说明神经网络可以解决逻辑思维中部分难以解决的问 题，从而使人们领略到神经网络的魅力。 g e h i n t o n 和t j s e j n o w s k i 借助统计物理学的概念和方法提出了一种随机神经网 络模型b l o t z m a n n 机，其学习过程采用模拟退火技术，有效地克服了h o p f i e l d 网络存在 的能量局部极小问题。 接着，1 9 8 6 年，d e r u m e l h a r t 和j l m c c l e l l a n d 出版了具有轰动性的著作并 行分布处理一认知微结构的探索1 2 6 】。在该书中，他们建立了并行分布处理理论，主要 致力于认知的微观研究，同时对具有非线性连续转移函数的多层前向网络的误差反向传 大连理t 大学硕十学位论文 播算法( b p ) 进行了详尽的分析，解决了长期没有有效的权值调整算法的难题，回答了 ( ( p e r c e p t r o n 一书中关于神经网络局限性的问题。并且b p 网络应用于函数逼近、信 息处理、模式识别、数据压缩等领域时都取得了很好的效果，从实践上证实了人工神经 网络有很强的运算能力。这些引发了人们对神经网络的热切关注，因此这段时间被称为 神经网络研究的复兴期。 在过去1 0 年中，人工神经网络理论日益变得更加外向，注视着自身与科学技术之 间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具，在经济分 析、最优化等领域得到了大量的应用，取得了良好效果。例如：图像识别问题和金融预 测问题【卜1 4 j 等等。 2 3 人工神经网络原理 2 3 1人工神经元 神经网络f 2 7 ，2 8 1 是一个并行和分布式的信息处理网络结构，连接机制结构的基本处理 单元与神经生理学类比往往称为神经元，每个构造起网络的神经元模型模拟一个生物神 经元。每个神经元只有一个输出，它可以连接到很多其他的神经元，每个神经元输入有 多个连接通道，每个连接通道对应于一个连接权系数。神经元的基本模型如图2 1 所示。 糕( 一磊 ，一i 图2 1 人工神经元基本模型图 f i g 2 1s t r u c t u r eo fa r t i f i c i a ln e u r o n 一9 一 基丁神经网络的汇率预测 其中x ，f = 1 ，2 ，玎为神经元的输入，w ，表示第f 个输入x ，与神经元连接的权值， 9 是神经元的阈值，z 称为神经元的活化函数，只表示神经元的状态，也就是它的输 出。一般地，神经元，的作用由数学表达式表示为： ，旦、 m = 厂l w j ，x j 一9i ( 2 1 ) i = i 在生物神经网络中，生物神经元接受的外部刺激或者来自生物体所在的外部环境， 或者来自于与该神经元相连接的其他神经元。对应到人工神经网络，一个神经元的输入 可以来自外部环境，此时要根据待解决问题的特点确定输入向量的维数n ，也可以来自 同一神经网络中其它神经元的输出；同样道理，一个神经元的输出可以指向外部环境， 也可以连接向其他神经元成为其输入。 对于不同的神经网络模型，神经元的活化函数也不同。常用的活化函数有线性函数 f ( x ) = x ，符号函数f ( x ) = s g n ( x ) 、s i g m o i d 函数、高斯函数等。这些活化函数有各自 不同的特点，适合以不同的方式发挥作用。 2 3 2 人工神经元的拓扑结构 一个能够实现一定功能的神经网络通常由若干个神经元相互连接而成，神经网络的 信息处理能力由神经元之间的相互连接和作用来实现。神经网络的强大功能与其中神经 元大规模的并行互连、非线性处理以及互连结构的可塑性密切相关。使用大量神经元组 成庞大的神经网络能够实现对复杂信息的处理和存储，并表现出并行分布处理、自适应 性、良好的容错性等各种优点。 神经网络的结构，是按照一定的方式将若干个神经元连接起来，并使网络中各个神 经元的连接权值按照一定的规则进行调整。神经元相互连接的方式不同，神经网络的拓 扑结构也就不一样，这样就得到不同的神经网络模型【2 0 , 2 1 , 2 7 】。一般来说，神经网络中的 神经元可以分为若干个称为层的集合，每个神经元属于且仅属于其中某一层，在同一层 中的神经元具有相同的活化函数。 常见的层结构有三种：输入层，隐层和输出层，如图2 2 所示。其中，隐层神经元 的输入与输出都在网络内部，对外界是不可见的，这就是隐层名称的由来。输入层上的 神经元接收来自外界的输入信息，并传递给各个位于隐层上的神经元；隐层是神经网络 的内部信息处理层，负责将网络中的信息进行处理后传递给下一层，根据信息交换的需 要，隐层可以是一层或多层，最后一个隐层将处理后的信息传递到输出层：输出层中的 各神经元将这些信息进一步处理后即完成一次从输入到输出的信息处理，由输出层向外 大连理工夫学硕士学位论文 界输出信息处理结果。也就是说，神经网络的输入层接受外部环境的输入，产生输出， 然后这个输出被用于隐层的输入。这个过程一直持续到满足某个特定条件或直接从输出 层输出到外界。 戈i x z x n 输入层隐层输出层 图2 2 神经网络的层结构 f i g 2 2l a y e ro fa r t i f i c i a ln e u r a ln e t w o r k s 咒 神经元通过权值相互连接，一个神经元的输出传给另一个神经元作为其输入。这些 连接可以是单向的( 即两个神经元之间信息的传递只由其中一个到另外一个) ，也可以是 双向的( 即两个神经元的输出互相作为对方神经元的输入) 。神经网络中的一个神经元既 可以有一个或多个输入，也可以有一个或多个输出。 位于网络中不同层之间的神经元的相互连接称为层间互连。层间互连可以归为三大 类方式： ( 1 ) 全连接与部分连接 全连接是指前一层的神经元与本层所有的神经元都有连接，相对地，部分连接则指 的是前一层的神经元不一定与本层所有的神经元都有连接； ( 2 ) 前向连接与双向连接 前向连接指的是前一层神经元的输出传给本层的神经元，但是它们不接受本层神经 元的输出，与之相对，双向连接就是前一层神经元的输出传给本层的神经元，同时它们 也接受本层神经元的输出； ( 3 ) 层级连接 基丁：神经网络的汇率预测 层级连接指的是只有前后两层之间的神经元有相互连接，没有跨层通信。除了层间 互联外，更复杂的网络结构是位于网络中同一层内的神经元之间也有连接，称之为层内 互连。层内互连主要有两种：递归连接和近兴奋远抑制连接。递归连接是同一层的神经 元之间全部相连接或部分连接，这一层内的神经元之间相互通信，直到满足一定的条件， 才将结果输出到下一层；近兴奋远抑制连接则是神经元对它的某种意义下的拓扑邻域内 的神经元有兴奋性连接，对同一层内的其它神经元则是抑制性连接。 2 。3 3 神经网络的分类 神经网络模型按上面所讲的拓扑结构分类，可分为层次型结构和互联型结构：层次 型结构就是可以将神经元按功能分成输入层、隐层和输出层，各层顺序连接；互联型结 构则是指网络中任意两个节点都可能存在连接。同时神经网络按照网络内部的信息流向 分类，也可以分为两种类型：前馈神经网络和反馈神经网络。前馈神经网络的信息处理 方向是从输入层到隐层再到输出层逐层进行的。而在反馈神经网络中所有节点都具有信 息处理功能，并且每个节点既可以从外部接受输入，同时又可以向外界输出。本文使用 的e l m 神经网络是一种典型的单隐层前馈神经网络型【1 2 1 。 常见的神经网络有如下几种形式： ( 1 ) 前馈型网络( f e e d f o r w a r dn e u r a ln e t w o r k s ，简记为f n n ) 。前馈网络中的神经 元是分层排列的，每个神经元只与前一层的神经元相连，如图2 3 所示。最左一层为输 入层，最右一层为输出层，中间层又称为隐层，隐层可以是一层或多层。 图2 3 前馈神经网络模型 f i g 2 3 m o d e lo ff e e d f o r w a r dn e u r a ln e t w o r k s 人连理工人学硕士学位论文 ( 2 ) 输入输出有反馈的前馈网络。如图2 4 所示，在输出层上存在一个反馈回路 到输入层，而网络本身还是前馈型的。f u k u s h i m a 的网络就是用这种反馈的方式达到复 杂图形的顺序选择和识别字符的。 图2 4 有反馈的前馈神经网络模型 f i g 2 4f e e d f o r w a r dn e u r a ln e t w o r k sm o d e lw i t hf e e d b a c k s ( 3 ) 前馈内层互连网络。如图2 5 所示，在同一层内存在互相连接，它们可以互 相制约，而从外部看还是一个前馈网络，很多自组织映射网络大都存在着内层互连的结 构。 图2 5 前馈内层互连神经网络模型 f i g 2 5f e e d f o r w a r dn e u r a ln e t w o r k sm o d e lw i t hi n n e rl i n k s 基丁神经网络的汇率预测 ( 4 ) 反馈全连接网络。如图2 6 所示，网络是一种单层全链接网络，每个神经元 的输出都与其它神经元互连，h o p f i e l d 网络和b o l t z m a n n 机都是属于这类网络。 图2 6 反馈全互连神经网络模型 f i g 2 6r e c u r r e n tn e u r a ln e t w o r k sm o d e l 、析t hf u l li n t e r c o n n e c t i o n ( 5 ) 反馈局部互连网络。如图2 7 所示，网络是一种单层网络，它的每个神经元 的输出只与其周围的神经元相连，形成反馈的网络。这类网络也可排列成为多层的金字 塔形的结构。 图2 7 反馈局部互连神经网络模型 f i g 2 7r e c u r r e n tn e u r a ln e t w o r k sw i t hl o c a lc o n n e c t i o n s 大连理j r 大学硕十学位论文 2 3 4 神经网络的训练 神经网络的一个重要特性是通过向环境学习获得知识并改进自身性能。一般情况 下，性能的改善是按照某种预定的规则调整自身参数如权值等随着时间的不断变化逐步 达到的。用于完成学习过程的程序称为学习算法。下面对神经网络的学习方式和学习规 则分别给予简单介绍【2 0 , 2 1 】。 按照环境所提供信息的多少，神经网络的学习方式主要有以下三种：有监督学习、 无监督学习和自监督学习。 ( 1 ) 有监督学习( s u p e r v i s e dl e a m i n g ) ，也称有教师学习。这种学习方式需要外 界存在一个“教师”，它可以对一组给定的输入模式提供应有的输出结果，即期望输出。 这组己知的输入输出数据称为训练样本集。学习系统可根据理想输出与实际输出之间 的差值即误差信号来不断调整系统参数，直到总的误差信号减小到预定的要求。通常为 了保证训练的成功，需要很多的训练样本和很长的训练时间。 有监督学习的权值调整方式有多种，其中最重要、应用最普遍的是1 9 6 0 年 w i d r o w a n dh o f f 给出的d e l t a 规则，也称最小均方误差( l m s ) 算法。按照d e l t a 规则训练 的前馈网络，就是著名的b p 网络。 ( 2 ) 无监督学习( u n s u p e r v i s e dl e a r n i n g ) ，也称无教师学习。无监督学习时，没 有外部的教师或评价来监督学习的过程，神经元和连接呈现某种程度的自组织性。学习 系统完全按照环境所提供数据的某些统计规律来调整自身的参数或结构，以表达外部输 入的某种固有特性，如聚类或某种统计上的分布特征等。主要的无监督学习算法有h e b b 学习率【2 2 1 、竞争学习等。其中，h e b b 学习率是最早被提出来的学习算法，目前大多数 无监督学习算法都来源于此。这种学习方式的一个应用实例是：在分类问题中