（计算机软件与理论专业论文）基于神经网络集成的汇率预测模型研究.pdf

南京航空航犬人学硕十学1 ： 7 ：论文 摘要 神经网络集成通过训练多个网络并将其结论进行合成，可以显著地提高学习系统 的推广能力，它不仅有助于专家对机器学习和神经网络的深入研究，还有助于工程技 术人员利用神经网络技术来解决现实世界中的问题。本文研究了神经网络集成技术在 非线性金融数据预测中的有效性，提出了一个基于神经网络集成的外汇预测模型。实 验结果表明它能有效地提高汇率预测的方向精度。同时，研究了神经网络配置和训练 问题并提出了a b 网络模型。最后，将神经网络应用到实际的汇率预测系统中。 关键词：神经网络、神经网络集成、外汇汇率、预测、时间序列 基丁神经网络集成f | 勺汇率预测模型研究 a b s t r a c t n e u r a ln e t w o r ke n s e m b l ec a ns i g n i f i c a n t l yi m p r o v et h eg e n e r a l i z a t i o na b i l i t yo fl e a r n i n g s y s t e m st h r o u g ht r a i n i n gaf i n i t e n u m b e ro fn e u r a ln e t w o r k sa n dt h e nc o m b i n i n gt h e i r r e s u l t s f fi sn o fo n l y h e 扫缸ff o re x p e l s 抡i n v e s t i g a t em a c h i n el e a r n i n g a n dn e u r a l c o m p u t i n gb u ta l s oh e l p f u l f u re n g i n e e r st os o l v er e a lw o r l dp r o b l e m s u s i n g n e u r a l n e t w o r kt e c h n i q u e s t h i sp a p e rs t u d i e st h ee f f e c t i v e n e s so fn e u r a ln e t w o r ke n s e m b l ei n f o r e c a s t i n gt h en o n l i n e a rb e h a v i o ro f f i n a n c i a ld a t aa n dp r o p o s e san e u r a ln e t w o r km o d e l t of o r e c a s tt h ef o r e i g ne x c h a n g er a t e s n l ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e d m o d e li sa b l et 0a c h i e v eh i g h e ra c c u r a c yo ft h ed i r e c t i o n a lf o r e c a s t b e s i d e st h ef o r e c a s t m o d e l ，an e w m o d e lc a l l e da bn e u r a ln e t w o r km o d e li sp r e s e n t e dw h i c hi su s e dt os t u d y t h ep r o b l e m so f c o n f i g u r a t i o na n dt r a i m n g i nn e u r a ln e t w o r k s f i n a l l y ，w ea p p l yt h en e u r a l n e t w o r ki n t oar e a lf o r e i g ne x c h a n g er a t ef o r e c a s t i n gs y s t e m k e yw o r d s ：n e u r a ln e t w o r k s ，n e u r a ln e t w o r ke n s e m b l e s ，f o r e i g ne x c h a n g er a t e , f o r e c a s t i n g ，t i m es e r i e s i l 南京航空航天人学硕十学侍论文 第一章绪论 时间序列预测可以广泛地应用于许多领域，然而对时间序列的准确预测是一个非 常困难的问题，尤其对商业流通领域中所产生的海量经济时间序列。作为非线性动力 学系统的神经网络具有在理论上的无限逼近能力，它在预测领域已经得到了很好的应 用。利用神经网络的数值逼近与记忆功能，根据时间序列的历史观测数值，可以识别 出时间序列的内在模式。本文对神经网络集成技术在经济数据预测中的应用作了研 究。 1 1 汇率预测的意义 外汇汇率( f o r e i g ne x c h a n g er a t e ) 是将个国家的货币折算成另一个国家货币 时使用的折算比率，也可以说是以一国货币表示另一国货币的价格。它在本质上反映 的是不同国家货币之间的价值对比关系。随着现代经济活动国际化、国际贸易持续增 长、国际经济一体化及资金调拨技术的迅速发展，汇率在国际经济中已具有越来越重 要的地位。自1 9 7 3 年稚雷顿森林体系解体以来，国际货币制度被管理浮动制度所替 代，一度较为稳定的汇率为每日每时都波动不定的汇率所替代。在管理浮动制的条件 下，汇率的波动极为频繁。汇率的波动性以及波动程度不断加剧，可能导致经济的不 稳定，例如1 9 9 0 年，几次大的区域性的经济危机都同汇率的波动相关。外汇汇率的 这种极为频繁、甚至是极为剧烈的波动，使得各国政府、金融组织、国际性企业不得 不从各自的需要出发，对有关的汇率进行预测。因此，外汇风险问题已引起人们的高 度重视和广泛研究t 其中如何准确地预测汇率变动的方向和程度是外汇风险管理的基 础。 总之，外汇汇率作为国际金融市场中一个重要的经济指标，作为调节国民经济内 外均衡的杠杆，对其内在性质及预测的研究具有很大的理论意义和应用价值。 1 2 汇率预测方法的发展 在汇率决定理论和预测模型方面，国外学者取得了显著的进展，已从不同角度并 使用大量的数学模型和实证分析，对外汇汇率和外汇市场进行了深入的分析研究，形 成了各自不同的观点和模型。然而，尚没有一个模型能对频繁波动的汇率事实拟合得 非常紧密和对汇率波动的原因做出稳定一致的解释。关于汇率的预测方法，仍然存在 丛丁- 神经网络集成的汇率预测模型研究 卉f ：多的争论。传统的汇率预测技术的发展从时间和逻辑的角度，基本上可以分为三 类”】：结构变量预测方法，时闻序列方法和专家预测方法。 1 结构变最预测方法，是建立在各种经济变量之间的相关基础上的汇率预测。 它以计挝经济方法为代表，有时也称作基础变量预测方法。在汇率预测上，假设汇率 与各种经济因索之洲存在一种因果关系，并可以用数学模型来描述。这种预测方法不 仅要求假设一系列因果关系，而且要求预测时能够利用数学模型概括这一系列因果关 系。 2 时间序列方法。这是现在理论界应用较多的一种方法。这一类方法有时也称 技术预测法。随机游走模型( r w ) 、指数平滑模型、回归模型( a r ) 和移动平均模 型( m a ) 等都属于这一类模型。随着高级数学工具的引入。这种预测方法有了很大 的发展。如贝叶斯向量自回归模型( b 、r ) 、阈值模型、b o x j e n k i n s 方法等等。时 间序列的分析方法主要是根据汇率的历史数据，建立时间序列预测模型。这一类方法 的基础是建立在“价格反映所有信息”的强效市场理论之上的，因而在各国汇率纷纷 转向浮动汇率制度的时候发展迅速。但是最近研究表明，即使在完全实行市场经济的 情况下，市场动作的实际情况也往往达不到所谓“价格反映所有信息”尤其是在发展 中国家。所以在某些特定的情况下，预测误差可能较大。 3 专家预测方法。它是一种以主观判断为主的一种汇率预测方法。它采取的方 式通常是集中各方人士的意见，主要是从银行、金融机构、大进出口贸易商等的财务 专家、外汇专家人士中寻求具有代表性的意见，然后分析产生这些意见和看法的原因， 最后综合这些判断，作为推测汇率的依据。对于各方采纳专家的判断意见的归纳整理 和提取工作的这种预测方法也称德尔菲法。这种方法具有成本高、有时滞、带有很强 的主观色彩的缺点，但是当外汇市场发生剧烈波动，有大量不可预测因素交织变动时， 能够充分考虑到无法量化的因素，这种方法有其特殊的优势。 1 3 神经网络预测方法 1 3 1 什么是人工神经网络 人工神经网络( a n n ) ，简称神经网络( n n ) 是对自然神经网络或人脑若干基本特 性的抽象和模拟。它是一个基于连接学说构造的通信生物模型，是由大量神经元组成 的非线型动力系统。它是一种具有大量连接的并行分布式处理器，具有通过学习获取 知识并解决问题的能力，且知识是分布存储在连接权中，而不是像常规计算机那样必 须存在特定的存储单元中。神经网络具有非线性、非局域性、非定常性和非凸性等特 点。具有良好的容错性与联想记忆功能。以及较强的自适应与自学习功能，主要研究 非线性的、自适应性的和脑模式的信息处理的本质和能力。目前，神经网络在许多科 学工程领域中显示了很大的威力。在理论上，它的计算能力、对任意连续映射的逼近 南京航空航天人学硕十学位论文 能力、学习理论和动念网络的稳定性分析等都取得了丰硕的成果。在应用上，神经网 络所涉及的领域主要有摸式i = 刚、图像处理、控制、优化、预测和管理等。 1 3 2 神经网络与预测 人工神经网络是一门高度综合的交叉学科，它的发展涉及到神经生理科学、数理 科学、信息科学和计算机科学等众多学科领域。人工神经网络在信号处理、模式识别、 目标跟踪、工业控制、专家系统、组合优化、网络管理等众多领域的应用中获得引人 注目的成果。在预测领域，1 9 8 7 年l a p e d e s 和f a r b e r ”1 首先应用神经网络进行预测， 丌创了人工神经网络预测的先河。用人工神经网络预测的基本思想是：首先收集数据 去训练网络，然后用人工神经网络的算法去建立数学模型，进行预测。 与传统的预测方法相比，人工神经网络预测具有许多优越性，如可以监视生产过 程，能确定因果关系，其精度较一般统计方法高等。由于神经网络具有实时联机的优 越性，使用神经网络将比一般用计算机进行预测的成本大为节省。另外，用神经网络 方法进行计算的复杂性和计算量也低于一般统计方法。美国p e a t m a r w i c k 的研究人员 曾进行了一组比较，用两种模型预测商业银行的破产情况。一种模型用回归分析法， 另一种模型用神经网络，收集了大量已破产的银行的分类数据，都用相同的预测变量 来产生预测结果，并提供同年破产和没有破产的银行的情况。结果发现，神经网络提 供的数据较好，分类出错的次数很少。 神经网络具备在不相关的数据间进行推广，发现噪声以及提取特征的能力。 l i p p m a n 。”的研究称神经网络模型具有很好的鲁棒性及容错性。另外，一个建立良好 的模型可以为数据找出传递性并且对相关的不同数据模式的复杂性和线性关系进行 表示。由此，神经网络确实因它的自适应性、自动建模的特性丽适合预测。 1 3 3 神经网络预测方法 所谓预测，即通过一些已知历史数据对未来未知数据的取值进行估计。设有时间 序列缸) ，其中历史数据为，一，一+ ，需要对未来r + m + k ( k o ) 时刻的取值进 行预测，即预测x ，+ 坩“的值预测的方法是求出历史数据，。，一+ ，与。的某种 非线性函数关系： x ，+ 。+ i = f ( x ，“，+ ) ( 1 1 ) 用神经网络进行预测，即用神经网络来拟合函数，得出未来数据的取值。常用 如下四种类型的预测： 1 单步预测或开循环预测 3 蟮丁冲经网络集成的汇率预测模型研究 方法：设神经网络的输入元为三个，以x 。，x 。，x 。作为神经网络的输入，x ，作 为输出来训练神经网络，预测时就以d u 三r 的值作为输入，神经网络的输出就是要预 测的当闩的值。 例如：( 1 ) 预测可通过n e t ( x q q ，x x ) 计算得到； ( 2 ) 预测x 【0 l 可通过n e t ( x ；，h ，x ，b ) 计算得到； ( 3 ) 预测x 1 0 2 可通过n e t ( x l x i o o ，x * ) 计算得到。 2 多步或闭循环预测 方法：以上述方式训练神经网络，预测时将神经网络的输出再作为神经网络的输 入，通过自循环的方式来预测以后的值。 例如：( 1 ) 预测 0 0 可通过n e t ( x 9 9 ，x 9 8 ，x 9 7 ) 计算得到，记为主瑚： ( 2 ) 预测 o i 可通过n e t ( y c l o o ，x 9 9 ，x 9 8 ) 计算得到，记为毫o l ； ( 3 ) 预测x 1 0 2 可通过n e t ( i c l o l ，f c l o o , x 9 9 ) 计算得到。 3 步向前预测 方法：同样以上述方式训练神经网络，预测时类似多步预测的情况，也将神经网 络的输出值作为神经网络的输入值，但第输入值仍取实际的值而非神经网络的输 出值。 例如：设n = 3 ，如果要预测x ，先预测x l o o ，x l 。分别记为毫0 0 ，量，计算如下： 量1 0 0 = n e t ( x 9 9 ，如8 ，x 9 7 ) ，= n e t ( i t x 9 9 ，) ，于是， ( 1 ) 预测 0 2 可通过f ( 毫毫。，x 9 9 ) 计算得到，记为毫0 2 ； ( 2 ) 预测一0 3 可通过n e t ( j 1 0 2 ，毫m 而) 计算得到，记为毫o ，： ( 3 ) 预测而。可通过n e t ( 量，毫0 2 ，x 1 0 1 ) 计算得到。 4 直接同步长期预测 方法：设神经网络的输入元为三个，则以x t - i ，x t - 2 ，葺，作为神经网络的输入，以 x ，x 。，+ ：作为输出来训练神经网络，预测时就以前三日的值作为输入，神经网络的 输出就是要预测的后三同的值。 例如：( 1 ) 预测x 1 0 0 ，x l o i ，而0 2 可通过n e t ( x 盼，) 计算得到； ( 2 ) 预测一0 3 ， 0 4 ，x 1 0 s 可通过n e t ( x m ，x l o l ，0 2 ) 计算得到。 1 3 4 用于预测的神经网络研究进展 用神经网络进行预测的想法由来已久“1 。这方面的第一次的应用可以追溯到1 9 6 4 年。h u 使用w i d r o w 的线性网络预测了天气。因为当时缺乏对多层神经网络进行训 南京肮空航大夫学硕+ 学位论文 练的算法，其研究是极有限的。直到1 9 8 6 年当b p 算法被提出之后，神经网络应用 于预测j 大量地发展起来。w e r b o s 第一个利用b p 算法训练神经网络进行预测并发现 它的功能要优于传统的统计学方法，如b o x j e n k i n s 方法。l a p e d e s s 和f a r b e r 进行了 类似的研究并得出结论：神经网络可以被用于为预测非线性时间序列建模。w e i g e n d 等和c o t t r e l l 等分别就网络结构对实现的时间序列数据的关系进行了探讨。 s h a r d a p a t i l ，t a n g 和f i s h w i c k 又就神经网络与b o x j e k i n s 方法的预测结果作了比较。 w e 唱e n 和g e r s h e n f i e l d 作的实验中神经网络在每个数据集上都取得了较好的效果。 s c h i e r h o l t 和d a g l 的研究表明，使用神经网络的预测结果来进行股票交易可以得到较 大的可能收益。 利用神经网络方法预测汇率波动国内外学者已经进行了比较广泛的研究“1 。1 9 9 0 年，d i e b o l d 等人研究结果是非线性方法在汇率预测对汇率值逼近和方向波动的预测 都有提高。1 9 9 3 年，英国的r e f e n s e 等人试图采用神经网络方法预测汇率变动，他们 采用的预测值分成训练组( t r a i n i n gs u b s a m p l e ) 和测试组( t e s ts u b s a m p l e ) 的方法训练神 经网络，并同经典的平滑技术进行了比较，这种尝试以及随后的评议肯定了神经网络 在一定的情况下比“标准”的预测方法表现要好。k u a n 和l i u 对神经网络在5 个不 同币种兑美元的汇率进行了研究。这5 种货币包括英镑、加拿大元、德国马克、日元 以及瑞士法郎。神经网络对日元和英镑的预测的均方差( m s e ) 很低。但其余三个币 种的预测效果一般。 有关神经网络运用于汇率的实践也开始出现在近期的中文文献中，西安交通大学 的魏巍贤和蒋正华”1 利用神经网络的方法建立了马克美元汇率短期预测模型，它使用 了1 9 8 7 年5 月到1 9 9 2 年1 2 月伦敦外汇交易市场和纽约外汇市场马克，美元汇率的周 平均数据进行建模和预测，和传统的线性时间序列模型的预测结果比较，神经网络预 测精度高于后者。清华大学的杨忻和马洪波脚用神经网络预测马克美元汇率，研究结 果表明神经网络比随机游走模型更有效。哈尔滨工业大学管理学院的惠晓峰和胡运权 等”1 针对b p 神经网络所存在的缺陷，结合遗传算法提出了基于实数编码的g a - b p 神经网络预测人民币美元汇率的模型。在结合递归预测方法的基础上，该模型取得了 令人满意的结果。 国内应用于时间序列预测的神经网络研究很多，如张兴会和刘玲等人。1 利用改进 的e l m a n 神经网络对3 个典型的混沌时间序列在不同的嗓声水平下进行预测。姚泱兴， 盛昭瀚和陈洪香。1 提出了一种改进的小波网络结构。探讨了股市预测模型问题。沈谦 和王涛“”提出了一种改进的r b f 神经网络。对混沌时闯序列进行预测效果较好。梁 艳春，王政和周誊光“”将模糊聚类与梯度算法相结合提出了一种改进的训练模糊神经 网络的混合型算法，结果表明，模糊神经网络可以成功地用于时间序列的预测。 毖- j - 神经网络集成的汇率预测模型研究 1 3 5 单。一神经网络的局限和解决方法 1 单一神经网络的局限 神经网络作为一种通用的非线性辨识模型，已经广泛地应用于非线性时间序列的 分析、预测和控制中。但是，单个神经网络在应用中仍存在着一些问题。( 1 1 可理解 性差。冲经网络在预测能力方面的优势是以牺牲其可理解性为代价的。由于在模型中 引入菲线性所增加的解析困难，难以象对线性模型那样发展出一套基于概率统计的模 型辨识技术。( 2 ) 选择合适的模型比较困难。单个神经网络建立预测模型时有一些因 素直接影响着它的预测精度，这些因素包括：输入变量的选择、网络结构的确定以及 需要多大的训练集。在实际运用过程中，研究者所掌握的全部资料可能仅是一个一维 ( 或多维) 时间序列。由于缺乏用以进行模型辨识的先验知识，研究者或者不得不退 而采用传统的线性模型：或者需要依靠试验和不完备的经验来进行神经网络模型的辨 识。显然，这两种解决办法经常是不充分的：前者无法有效应用于非线性时间序列； 后者无法保证对最优模型的选择。( 3 ) 选出的模型不能保证是最优的。尽管对金融预 测问题建立一个神经网络模型时需要考虑各种各样的参数，但通过训练一组不同的神 经网络，然后，依据各个神经网络在验证集上的预测效果选出最好的网络作为最终的 预测器。这样选择的神经网络依然存在着缺陷，因为在验证集上取得好的效果并不能 保证该神经网络在新的数据集上取得同样的效果。当金融数据中有噪声并且时间序列 本身是不平稳的情况下，这个问题就更突出了。 2 解决方法 上述问题不仅表现在预测领域，神经网络在其它领域的应用也会出现相同或类似 情况，这实际是由神经网络固有缺陷造成的。如何解决这些问题? 国内外的研究人员 进行了大量工作并已取得了令人鼓舞的进展，其中1 9 9 0 年，h a m c n “”等人提出一种 开创性的方法，即神经网络集成( n e u r a ln e t w o r ke n s e m b l e ) ，为选择模型的问题提供 了个相对简易的方案。研究结果袭明，神经网络集成方法不仅易于使用，还能够以 很小的运算代价显著地提高学习系统的推广能力。 直接应用神经网络集成方法对汇率预测问题进行研究，国内做得还不多。国外在 这方面的研究有：w i n l d e r “3 1 在他1 9 8 9 年的文章中提到使用集成方法的动机就是为了 综合各种信息来减小预测的不确定性从而增加预测精度。c h a n d r a s e l d a a l a m i “，w h i t e “司等人研究了集成在预测中的应用。s c h w a e r z e l 和r o s e n o ”使用神经网络集成的方法 对英镑、德国马克、f l 元和瑞士法郎四种货币兑美元的汇率进行了实验，最终的预测 值通过对各个网络的输出平均得到，结果表明这种方法可以有效地降低预测值与目标 值之间的平均误差和方差。b i s o r n t e t i w e t 和d a g l i o ”使用广义回归神经网络( g r n n ) 集成方法对美元、加拿大元、英镑和澳大利亚元兑泰国铢的汇率进行了预测，结论是 如果使用同样的数据，集成方法的预测效果要优于单个广义回归神经网络的效果。 南京航空航天人学硕十学1 ： 7 = 论文 1 4 本文研究工作 本文研究了神经网络集成方法在汇率预测中的有效性。对怎样使用神经网络集成 方法进行汇率预测，如何建立有效的汇率预测模型，以及模型的可应用性等问题进行 了探讨。目的是使神经网络集成模型的预测效果比单个神经网络在同类问题中的预测 效果更优。 由于神经网络集成方法尚不成熟，因此本文的研究建立在大量实验的基础上。所 提出的新模型在外汇市场的8 个不同币种兑美元的汇率上作了测试，这些币种为澳 元、英镑、加元、。荷兰盾、法郎、德国马克、日元、瑞郎。 1 5 本文组织 本文首先讨论了汇率预测的研究意义、实现方法、神经网络用于预测的发展历史、 存在问题和解决方法并说明了本文的研究内容。第二章从神经网络集成的推广性问题 出发探讨了神经网络的集成个体间的差异度计算方法；提出a b 网络模型并作了实验 验证。第三章分析了汇率预测问题，在此基础上提出了基于神经网络集成的汇率预测 模型，并作了相关了的实验研究。第四章对基于集成方法的汇率波动方向预测作了进 一步改进。分别从个体网络的输入变量、集成的方法、集成个体网络的筛选三个方面 做了探讨。给出了在堆方法下建立合适的汇率预测模型的执行步骤。第五章对江苏 省汇市通信息管理与决策支持系统神经网络预测模块的设计和实现作讨论。第六章 总结了全文工作。 1 6 小结 本章首先介绍t f f - 率预测研究的意义，回顾了预测的方法发展，然后详细论述神 经网络预测的概念、方法和研究现状，分析了神经网络在汇率预测中存在的问题并给 出了相应的解决方法。最后，概括本文的研究工作和组织结构。 基r r 神经网络集成的汇率预测模璀研究 第二章神经网络集成 由于神经网络集成能有效地提高学习机器的推广能力，该技术已在一些领域中得 到了成功的应用。本章对神经网络集成方法作了论述并研究了神经网络的配罱和训练 问题。 2 1 推广性问题 2 1 1 推广性问题描述 推广性( g e n e r a l i z a t i o n ) 是指经训练后的神经网络对未在训练集中出现的样本 做出j 下确反应的能力。学习不是单纯的记忆已学过的输入，而是通过训练样本学习隐 含在样本中有关环境本身的内在规律性，从而对未出现的输入也能给出正确的反应。 在早期神经网络研究中，人们总是把注意力集中在如何使经验风险更小，即追求训练 误差最小，但很快发现这样做并不是总能达到好的预测效果。某些情况下，当训练误 差过小反而会导致推广能力的下降，这就是几乎所有神经网络研究者都曾遇到过的所 谓过学习( o v e r f i t t i n g ) 问题。 之所以出现过学习现象，一是因为学习样本不充分，二是学习机器设计不合理， 这两个问题是互相关联的。设想一个例子“”。假设有一组训练样本( x ，y ) ，z 分布在 实数范围内，而y 取值在【o ，1 】之间。那么不论这些样本是依据什么函数模型产生的， 只要用一个函数f ( x ，口) = s i n ( o r e ) 去拟合这些样本点，其中f l 是待定参数，总能找到一 个d 使训练误差为零，如图2 1 所示，但显然得到的这个“最优函数”不能正确代表 原来的数学模型。出现这种现象的原因，就是试图用一个复杂的模型去拟合有限的样 本，结果导致丧失了推广能力。在神经网络中，如果对于有限的训练样本来说网络的 学习能力过强，足以记住每一个训练样本，此时经验风险很快就可收敛到很小甚至零， 但根本无法保证它对未来新的样本能得到好的预测这就是有限样本下学习机器的复 杂性与推广性之间的矛盾。 南京航空肮大人学硕十学何论文 2 1 2 解决的方法 l ! f l2 i 心三角函数拟台任意点的例子 解决这个问题的一种方法是增加训练样本，但在解决实际问题时这一条件总是受 到限制。另外，当给定训练数据之后还可以通过以下方法来避免过学习问题。 1 模型选择( m o d e ls e l e c t i o n ) ：一个神经网络的复杂度主要包括权值的个数 和权值的大小，模型选择主要针对权值的个数，即隐层神经元的个数及网络的层数。 权值个数越多，过学习的影响就越大“”。模型选择就是要在模型权值个数与模型的推 广能力之自j 找到一个平衡点，使所选择的模型最优。 2 抖动( j i t t e r i n g ) ：在训练过程中，通过向输入值中加入一个小量的噪声， 实际相当于迫使神经网络从几个数据集上进行训练，从而能够减小误差的方差项。这 样就能够提高神经网络的推广能力。 3 提前停止( e a r l ys t o p p i n g ) ：将训练集分成两部分，一部分用于训练，一部 分用于验证。在神经网络的训练过程中不断地计算神经网络在验证上的误差，通常， 随着神经网络训练过程的进行，这个误差值会单调下降，一旦这个误差增大时就停止 训练。所得的神经网络被认为是较优的。 4 权值衰减( w e i g h td e c a y ) ：在误差公式中加上一个对于大的权值系数的惩罚。 比如，当选择s i g m o i d 函数作为激活函数时，小的权值系数对应着函数中心的“线性” 部分。相反地，大的权值系数对应着非线性特性。它具有很大的曲率，使得能够很好 地匹配数据。通过对较大的权值系数采取一定的惩罚措施，网络就会趋向于拥有一个 更加平滑的表面，从而防止对于数据产生过拟合现象。 基丁神经网络集成的汇率预测模型研究 5 网络减枝( p r u n i n g ) ：在进行了几次训练试验之后观察一下得到的权值系数， 除去那些值特别小的权值系数，因为它们对于输出的贡献非常小。然后对于减枝后的 巫加简单的模型进, 7 7 i l i l 练。同时还可以分析在去除掉每一个变量后错误率是如何不断 减小的。如果在变量去除前后的错误率相等，就意味着被去除掉的变量对于输出的贡 献很小，就可以去掉相应的输入。 6 集成神经网络( c o m b i n i n gn e t w o r k s ) ：使用一组神经网络而不是单个网络来 求解问题。集成神经网络是一个新的方向，很多具体的方法都有待研究。 2 2 神经网络集成 2 2 1 集成方法与神经网络集成的提出 集成神经网络包含了两种方法； 1 神经网络集成，即由一组神经网络对同一个问题进行学习，然后组合各个神 经网络的输出。与从一组神经网络中选出一个最好的神经网络作为问题求解的工具相 比较，这样做可以得到更稳定、更精确的结果。它的特点之一就是集成的神经网络是 冗余的，即任何一个神经网络都可以单独把问题解决，只是效果不同而已。 2 模型分解，箕狭义的定义是将一个问题分解成各个子问题来求解。在人工智 能问题求解过程中，如果一个复杂问题无法直接求解时，往往采用分解法，即把复杂 问题分解为若干子问题，子闻题又可再分解。子问题与原问题的关系是：子问题比原 问题好解；子问题解决了，则原问题也就解决了。而在这里解决子问题的工具就是神 经网络。 实际应用中，两者常常同时被使用。某一系统中可能即使用了问题分解的方法， 而在求解每个子问题时又使用了神经网络集成的方法。本文在汇率预测问题中使用的 就是这样的组合方法。 1 9 9 0 年，h a n s e n 和s a l a m o n p “”提出了神经网络分类器集成的方法，同时，也开 创性地提出了神经网络集成。他们证明，通过训练多个神经网络并将其结果进行集成， 能够显著地提高神经网络系统的推广能力。比如对神经网络分类器来说，采用集成方 法能够有效提商系统的分类能力。假设集成由个独立的神经网络分类器构成汹3 ， 采用绝对多数投票法，再假设每个网络以l p 的概率给出正确的分类结果，并且网 络之间错误不相关- 则该神经网络集成发生错误的概率p 。为 = 。嬲卜。 ( 2 1 ) 南京航空航犬人学硕士学伉论文 在p 土时，p 。随的增大丽单调递减。因此，如果每个种经网络的预测精度都高 2 1 二5 0 ，并且各网络之问错误不相关，则神经网络集成中的网络数目越多，集成的精 度就越高。当趋向于无穷时，集成的错误率趋向于o 。在采用相对多数投票法时， 神经网络集成的错误率比式( 2 i ) 复杂得多，但是h a n s e n 和s a l a m o n 的分析表明，采 用榍对多数投票法在多数情况下能够得到比绝对多数投票法更好的结果。在实际应用 巾，由于备个独立的神经网络并不能保证错误不相关，因此，神经网络集成的效果与 理想值相比有一定的差距，但其提高推广能力的作用仍相当明显。 自从h a n s e n 和s a l a m o n 提出神经网络集成的概念之后，研究者们认识到神经网 络集成所蕴涵的巨大潜力和应用前景，纷纷投入到这方面的研究中。由于理论和应用 成果的不断涌现，神经网络集成正成为国际上机器学习和神经计算界的一个研究热 点。 2 2 2 个体生成和结果集成方法 在神经计算中集成主要指两个问题：一、创建或者选择一组集成的神经网络；二、 集成个体网络的输出结果。这里先讨论产生集成个体网络的方法。 必须明确如果一组神经网络的推广性完全相同那么集成方法不会有任何作用。通 常神经网络问的差异存在于它们的权值、训练的时间甚至它们的结构如隐元个数等方 面。通过对不同参数的各种设定可以得到推广性不同的网络，这些参数通常包括：初 始权值、训练数据、网络结构和堋练算法。( 1 ) 改变初始权值指通过改变各个网络的 初始权值来产生一组集成个体网络：( 2 ) 改变网络的结构指通过改变各个网络的结构 来产生一组集成个体网络：( 3 ) 改变训练算法指通过改变各个网络的训练算法来产生 一组集成个体网络：( 4 ) 改变数据是一种使用最多的方法，即通过改变各个网络的训 练数据来产生一组集成个体网络，其具体措施有：选样、分离训练样本、b o o s t i n g 、 使用不同的数据源和预处理。上述的方法都可以单独使用或组合使用。 个体网络集合一旦产生，接下来就要寻找一种方法使对各个体网络的输出结果进 行组合以锝出较优的最终输出。结果集成方法有：( 1 ) 线性组合法：如简单平均，加 权平均等：( 2 ) 非线性组合法：如基于信念的组合方法、基于等级信息的组合方法、 投票法和序统计法等：( 3 ) 贝叶斯方法：先验概率的贝叶斯方法；( 4 ) 堆方法：这种 方法是用一个非线性网络改变各个子网络输出的权值来集成结果，通常第一级网络的 输出作为第二级网络的输入并由第二级网络输出最终结果。 下面对投票策略做具体描述。 这种方法虽然最早提出但至今还倍受关注，主要原因是能在理论上对它进行分 析。另外，由于该方法简单，所以经常被用来和那些较为复杂的融合策略作性能上的 比较。 基丁神经网络集成的汇率预测模型研究 考虑一个i “k 个不同分类器组成的多分类系统。每个分类器给出模式所属的类， 一个给定的模式就会有k 个分类的结果。投票策略是把这些分类结果当作是对m 个 模式类的投票，收到最多投票的类被认为是模式应该属于的类。形式化描述如下： 瓦( x e c ，) = 1 ，当e i ( x ) = f ，i = 1 ，m ( 2 2 ) 其中e 。( x ) = i 表示模式x 被第k 个分类器分到第i 类。 则集成的结果为： 印) = 当职。裂一妣弘足 ( 2 3 ) 其中 l ( x c ，) = t a x c ) ，f - l ，m ( 2 4 ) 如果a = 0 5 ，就得到“绝对多数原则”，这种策略下，模式被分到得到票数过半的那 个类中。口值越高，集成策略越保守，当口= i 时为“一致性原则”，只有所有的分类 器都投票给同一个类都把它作为识别结果。口 1 ，卢 l 。 南京航空航犬人学硕十学位论文 对( 2 ，1 1 ) 式作修改变为： r = r + p - 6 ，口= d ，当e 0 f 2 1 2 ) ( 2 1 3 ) 仍p 在b 网独立进行训练时为常量，引入控制网a 后，妒，p 在b 网的训练过程 中可以根据训练情况由a 网给出较合适的值，即由a 网控制b 网的训练过程，这样 就增加了灵活性，使b 网的训练次数大大减少。 训练次数 1 j l2 3b 网在两种1 ：作方式下训练误差曲线 2 4 4b 网的训练算法 在a 网控锒i 下b 网的训练算法修改如下：在v l b p 算法在对权值修正前，分情 况对炉和卢的值作处理：( 1 ) 当e o 。先计算斜率对应的角度：a n g l e = c 留0 e ( t 】) 。 如果口馏k 0 。 表明学习率过大，按( 2 1 3 ) 式减小学习率并去掉动量项。因为此时b 网的状态不如上 1 7 整丁神经网络集成的汇率预测模删研究 一次凋攫后的状态，所以采用回溯的方法先重置b 网各权值和闺值为上一次的值， 然后按( 2 10 ) 式调整权值和闽值。卢同样由a 网给出。 2 4 5 a 网的构造及训练 在实验中，为便于训练a 网我们按功能将它分成两个独立的网络a 1 ，a 2 ，分别 对b 网的妒和卢进行控制。两个控制网的结构相同：仅含一个隐层，输入节点为2 个，输出节点为1 个，隐层节点为1 2 个。它们的输入值也相同：输入x 为b 网当前 的学习率；输入x ：为b 网当前e 值的斜率。a 1 网输出妒，a 2 网输出卢。 控制网的训练样本来源有二种。一种是人为控制的数据，随机性强。为便于说明 情况和再现实验的结果，我们选择了另一种方法：另建一个独立工作的b 。网。这个 b 网结构同b 网，它模拟了在a 网控制下b 网对异或问题的样本训练。不同点在于 ( 2 1 2 ) 、( 2 1 3 ) 式中的妒、卢不是由a 网给出，而是由b 。自身进行穷举，按贪心算法 找到能使网络对样本进行下一次训练后得到的e 值为最小的各参数值，用此数据模拟 对b 网控制的训练样本。具体如下：( 1 ) 当a t ：( t ) o 且a n g l e 0 时，b 。网在固定区间1 0 ，o 9 8 】内穷举卢值，找到的值同样妥使e ( t + 1 ) 为最小。按上 述方法，选出一个合适的x 值，即选取的x 值能使b 。网的总训练次数较小。实验数 据如下： 表2 2p 在不同区间所对应的b 网的训练次数 当x 为2 2 0 时b 网的训练次数较小取妒的区间为【o ，2 2 0 】，于是b 1 网在训练过 程中的选取的伊和夕分别为： ( 1 ) 当t a z ( t ) o 且n g l e 0 时 表格2 4b 网在训练过程中选出的值口值 b 。网仅在第2 、3 次时并朱选取妒和卢值，此时丝( r ) o r a n g l e c ，妒取缺省 值l 。为了方便区分数据，我们用s - 型函数将输入值映射到( 0 , 1 ) 区间，a 1 网输出 值直接整除2 2 0 映射到( 0 ，i ) ，a 2 网输出值不变。a l 网的样本数较多故选取部分代 表数据，a 1 ，a 2 网的样本最终取为： 袭2 5a 1 , a 2 网训练样本 由此训练的控制网在b 网训练中其实际输出值为； 壁r 神经网络集成的汇率预测模型研究 a 2 网仅在第4 次训练时进行了夕值的调整，输出为0 9 5 。第2 、3 次控制网未输 出。从表2 6 看到，a 网输出与b 网穷举得到的值不同，而控制效果却优于后者。 2 5 小结 本章给出神经网络的推广性问题的描述以及该问题相应的解决方法。神经网络集 成是提高网络推广性的有效方法。上文对神经网络集成、个体生成方法、结果集成方 法以及近年来提出的“创建与选择”的集成方法作了讨论。概括了“创建与选择”的 核心思想，对如何定量的分析个体神经网络间的差异度作了讨论。提出了一个a b 网 络模型，对神经网络的配置和训练问题作了研究。改进了7 l b p 算法，给出a ，b 网络 的构造和训练算法。实验的结果表明提出的模型能有效的减小神经网络的训练次数， 这初步验证了该模型对神经网络的配置和训练问题的有效性。 2 0 南京航空航犬人学硕十学何论文 第三章汇率的集成预测 本章针对方向预测的重要性提出了一个基于神经网络集成的汇率预测模型。该模 型分别由汇率方向预测和汇率值两部分组成。通过实验着重分析了汇率方向预测模 型，同时给出了组合模型的汇率值预测结果。 3 1 汇率预测模型分析 3 1 1 汇率的方向预测 对一个金融预测模型来说方向预测常常是评价预测效果的更重要的指标。最近的 一些研究表明基于价格变动的方向预测进行交易将更有效并且可以得到更高的收益。 w u 和z h a n g ”研究了汇率在未来运动方向的可预测性。m a b e r l y “”研究了s & p5 0 0 中 股票价格的天与天之间以及一天之内的方向变动关系。l e u n g ”1 研究强调了方向预测 的重要性。他指出仅仅考虑预测值与实际值之间的偏差大小是不够的，对价格变动方 向的预测将宣接影响投资者的买卖决策。这篇文章的评价标准之一就是方向准确度。 下面以一个具体的例子说明方向预测的重要性。 如表3 。l 所示，有五组金融时间序列数据分别命名为t a r g e t 、t r e n d 、m i s s b i g 、 m i s s s m a l l 和v e r s u s ，各组数据均以自然数据表示。t a r g e t 表示一组实际的序列数据， 其余四组数据都是对t a r g e t 的不同预测结果。t r e n d 准确的预测了目标序列的变动方 向，但数值的逼近精度很差；m i s s b i g 、m i s s s m a l l 两组数据都“很好”的预测目标序 列，仅有个别数值出错：v e r s u s 的变动方向则完全和目标序列相反。图3 1 显示了 t a r g e t 、t r e n d 和m i s s b i g 三组数据。从图形上看t r e n d 的预测效果比m i s s b i g 差很多。 但从另一个角度讲，如以变动趋势指导实际的金融市场交易，t r e n d 可以得出最优的 表3 i 五组时间序列数据 婪j ：神经网络集成的汇率预测模硝研究 结采，可以厢从表3 2 中评估数据看出。表3 2 对五组数据的预测质量作了评估，前 两项指标是对数值逼近的评价，t r e n d 没有任何优势，甚至还不如v e r s u s 。但从用户 f j 度来看，所作的预测能否币确指导市场是至关重要的。最后一项指标中t r e n d 显然 是最优的，而同样能反映这一性能的指标就是方向预测准确度。因此，在进行时间序 列预测特别是金融时间序列预测时方向准确度( 式( 3 4 ) ) 应受到重视。 图3 1 t a r g e t 、t r e n d 和m i s s b i g 三组时间序列数据 表3 2 五组时间序列的评估结果 3 1 2 汇率预测问题的分解 汇率预测问题实际是根据给定的f , j m i | l l 练样本求取对汇率系统输入输出之间依 赖关系的估计，使它能对未知输出做出尽可能准确的预测。如图3 2 所示可以将汇率 陌京航空航天人学硕十学侥论文 预测问题形式化为：已知变睦梦j ，分j j i i 表示未来和过去的汇率值向量。它们之间有 一定的未知依赖关系，即存在一个未知的联合概率f ( 王，歹) 。汇率预测就是根据”个观 测样本( i ，元) ，( i ：，弼) ，( i 。，尹。) 在一组函数 ， ，c o ) 中求一个最优函数f ( 2 ，) ，使 顾测的期望风险 r ( 。) ；i 工( 歹，f ( 2 ，) ) ( 矿( 牙，歹)( 3 1 ) 最小。其中， f ( x ，c o ) ) 称作预测函数集，n 为函数的广义参数，故 f ( x ，c o ) ) 可以 表示任何函数集；l ( j ，( 葺，c o ) ) 为由f ( 2 ，c o ) 对歹进行预测而造成的损失，在这晕定义 为： l o ，厂( i ，c o ) ) = ( 歹一，( 王，国) ) 2( 3 2 ) 从( 3 2 ) 式看到，汇率预测实质是一个函数逼近问题。由上文知道汇率方向的预测是很 重要的，故考虑引入损失函数 以歹胍硼= 馆；i 箍暑 b s ， 其中，歹由原来的汇率值改成汇率波动的方向值。此时，三( 夕，( j ，) ) 考查的就是预 测汇率波动方向的正确性。尽管在汇率值预测的同时隐含地预测了汇率的波动方向， 但把汇率预测问题分解成两个子问题：方向的预测和值的预测来处理可以突出方向预 测的重要性。