（计算机应用技术专业论文）elman神经网络的应用研究.pdf

中文摘要 本文介绍了人工神经网络的一些基础知识，而且详细地介绍了两种具有动态 反馈机制的人工神经网络模型，e l m a n 网络和输出一输入反馈e l m a n 网络，即 o i fe l m a n ( o u t p u t - i n p u tf e e d b a c ke l m a n ) 网络，以及它们的数学模型和学习算法。 考虑到股民投资的主要目的是盈利。为了提高网络的预测精度，得到更加精 确的预测结果，从而获得更多的利润，本文在e i m a n 人工神经网络的基础上，将 时间收益因素引入到e l m a n 网络的目标函数中，提出了一种改进的e l m a n 神经 网络模型卯f e n n ( 1 伽ep r o f i tf a c t o re l m a nn e u r a ln e t w o r k ) ，并将其用于股票 综合指数的预测以及股票利润率的计算和比较。为了更好地度量网络模型的预 测性能，本文采用绝对平均误差( a b s o l u t ea v e r a g ee r r o r , a a e ) 和最小二乘误差 ( l e a s ts q u a r ee r r o r , l s e ) 表示网络的预测精度。实验结果表明：改进的e l m a n 神 经网络模型用于股市投资是可行的、有效的，该模型不仅可以明显提高网络的预 测精度，达到快速收敛，而且还能够明显改善收益，提高股票投资的利润率，从 而实现较大幅度地获得收益的目的。 另外，为了控制大气污染，关心大气质量，及时、准确地预测未来大气变化、 预防严重污染事件的发生，本文在输出一输入反馈e l m a n 网络，即o i fe l m a n ( o u t p u t i n p u tf e e d b a c ke l m a n ) 网络的基础上，将惩罚收益因素引入到o i fe l m a n 神经网络模型中，提出了一种基于o i fe l m a n 神经网络的改进模型一 d p f o i f e n n ( d i r e c t i o np r o f i tf a c t o ro i fe l m a nn e u r a ln e t w o r k ) ，并将其用于预 测和评价长春市的大气质量。实验结果表明：引入惩罚收益因素o i fe l m a n 模型 具有极佳的逼近性能，取得了较高的拟合精度，所得到的预测数据和评价结果与 实际结果基本吻合。 上述结果表明：本文所提出的t p f e n n 和d p f o i f e n n 两种模型可为金融 投资和大气环境预测及评价提供新的技术和方法，具有较好的应用潜能和一定的 应用前景。 关键词：e l m a n 神经网络o i fe l m a n 神经网络惩罚收益因素时间收益因素综 合指数预测利润率大气质量预测和评价 a b s t r a c t s o m ef o u n d a t i o nk n o w l e d g eb a s e do na r t i f i c i a ln e u r a ln e t w o r ki si n t r o d u c e di nt h i s p a p e r m o r e o v e rt h ed y n a m i cf e e d b a c ka r t i f i c i a ln e u r a ln e t w o r k s ，n a m e l y , t h ee l m a n n e u r a ln e t w o r k ( e i m a nn n ) a n do u t p u t - i n p u tf e e d b a c ke l m a nn e u r a ln e t w o r k ( o i f e l m a nn n ) ，w h o s em a t h e m a t i c sm o d e l sa n dl e a r n i n ga l g o r i t h m s ，a l ea l s oi n t r o d u c e d r e s p e c t i v e l y c o n s i d e r i n gt h a tt h em a i np u r p o s eo fi n v e s t o r si st oo b t a i nm o r ep r o f i t ，i no r d e rt o g e tm o r ea c c u r a t ef o r e c a s t i n gp r e c i s i o na n do b t a i nm o r ea c c u r a t er e s u l t s ，t h e no b t a i n m o r ep r o f i t b a s e do nt h ee l m a nn n ，a ni m p r o v e dm o d e li s p r o p o s e d ，n a m e l y t p f e n n ( t i m ep r o f i tf a c t o re l m a nn e u r a ln e t w o r k ) a n di ti sa p p l i e dt of o r e c a s tt h e c o m p o s i t ei n d e xo fs t o c k c o m p a r i s o n sa n dc a l c u l a t i o n so f s t o c kp r o f i t 黜a l s om a d e w h e nt h es t o c ke x c h a n g ei sp e r f o r m e du s i n gp r e d i c t i o nr e s u l t sf r o md i f f e r e n tm o d e l s t oe v a l u a t et h ee f f e c t i v e n e s so ft h ep r e d i c t i o nm o d e l s , w eu s et w ot y p e so fe r r o r f u n c t i o n st or e p r e s e n tt h ef o r e c a s t i n gp r e c i s i o n ，i e ，t h el e a s ts q u a r ee r r o r ( l s e ) a n d a b s o l u t ea v e r a g ee r r o r ( a a e ) e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e de l m a n n nm o d e li se f f e c t i v ea n df e a s i b l ei nt h ef i e l do fs t o c ki n v e s t i n g w h i c hc a nn o to n l y i m p r o v ef o r e c a s t i n gp r e c i s i o nf o re l m a nn no b v i o u s l yb u ta l s om o r ep r o f i t sc a nb e o b t a i n e d t h e r e f o r ei tc a nr e a l i z et h em a i no b j e c t i v et oo b t a i nm o r ep r o f i ta sp o s s i b l e a sf o ri n v e s t o r s i n a d d i t i o n ，i no r d e rt o c o n t r o lt h e a t m o s p h e r i cp o l l u t i o na n df o r e c a s t t h e a t m o s 曲e r i cc h a n g et i m e l yi nf u t u r e , w h i c hc a l lp r e v e n tt h es e r i o u sp o l l u t i o n o c c u r r i n g b a s e do nt h eo i fe l m a nn n ，t h i sp a p e rp r o p o s e da ni m p r o v e do i fe l m a n n nm o d e lb yi n t r o d u c i n gd i r e c t i o np r o f i tf a c t o rt oo i fe l m a nn n ，w h i c hi sc a l l e d d p f o i f e n n ( d i r e c t i o np r o f i tf a c t o r0 i fe l m a nn e n r a ln e t w o r k ) m o r e o v e r d p f o i f e n nm o d e li su s e dt of o r e c a s ta n da s s e s st h ea t m o s p h e r i cp o l l u t i o no f c h a n g c h u nc i t y i nt h en o r t h e a s to fc h i n a e x p e r i m e n t a lr e s u l t ss h o wt h a t d p f o i f e n nm o d e ld e v e l o p e di nt h i sp a p e rc a no b v i o u s l yi m p r o v et h ep r e d i c t i o n p r e c i s i o no fo i fe l m a nn na n di t h a st h ec h a r a c t e ro ft h eb e t t e ra p p r o a c h p e r f o r m a n c e ，w h i c hi sb a s i c a l l ya c c o r d a n t t ot h er e a l i t y s ot p f e n na n dd p f o i f e n nm o d e l sp r o p o s e di nt h i sp a p e rc a np r o v i d en o v e l t e c h n o l o g ya n de f f e c t i v ea p p r o a c h e sf o rf i n a n c ei n v e s t i n ga n dt h ea t m o s p h e r i c p o l l u t i o nf o r e c a s t i n ga n da s s e s s m e n t ，w h i c hh a sg r e a t l yp o t e n t i a la n dg o o da p p l i c a t i o n 1 1 f o r e g r o u n d k e yw o r d s ：e l m a nn e u r a ln e t w o r k ，o i fe l m a nn e u r a ln e t w o r k ，d i r e c t i o np r o f i t f a c t o r , t i m ep r o f i tf a c t o r , c o m p o s i t ei n d e xf o r e c a s t i n g ，p r o f i t , a t m o s p h e r i cq u a l i t y f o r e c a s t i n ga n d a s s e s s m e n t - 1 1 1 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得丞生盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 靴论文储戤。哥辩日期：删”肋日 学位论文版权使用授权书 本学位论文作者完全了解鑫洼盘堂有关保留、使用学位论文的规定。 特授权鑫注盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 签字日期：知d 6 年 韩他吻 j 7 月伽日 导师签名： 签字日期： 勿鼽 埘年孑月矽日 第一章绪论 1 1 选题意义 第一章绪论 随着我国市场经济建设的高速发展，人们的金融意识和投资意识日益增强， 而作为市场经济的主要组成部分一股票市场，它是经济的“晴雨表”和“报警 器”，是继储蓄、债券之后的又一主要热门投资品种。近年来，越来越多的投资 者把眼光投向了股票，经济学家也希望通过研究股市，将其作为预测经济形势的 有效工具，而且股票在资本主义国家也非常流行，西方许多学者、专家纷纷涉足 研究股票，试图通过分析股市的历史数据，价格趋势和各种指标的变化，从而获 得最能刻画在未来一个阶段内股市走向的规律。大量事实证明：股票不仅在过去 可为投资者提供可观的投资利润，而且在将来它也将成为能够提供良好机遇的投 资媒体。然而股市具有变幻莫测，高风险与高收益并存的特性，投资者要想在 股市投资中盈取丰厚的投资回报，成为一名成功的投资者，就要认真、仔细地研 究股市，对股市进行分析，判断整个股市或个别股票在未来的变化趋势，探讨股 市投资行为的可能转折，从而得到股票买卖的投资信号。在股市分析中，股票各 类指数的预测一直是大家所关注的问题，但由于股票的运作是一个巨大的极其复 杂的非线性动力学系统，因而股票指数的变化具有强烈的非线性特点。虽然人们 已经提出了许多方法，如移动平均线法，点数图法，k 线图法、季节变动法、判 别分析法等，但其效果往往不尽人意。 人工神经网络具有广泛的自学习、自组织和自适应的能力，因此它在股市预 测模型建造的合理性及适用性等方面具有独特的优点。近年来人工神经网络受 到国内外许多学者的关注，并且已经成为一个极其活跃的研究领域，并已被成功 地应用到工业、农业以及军事等各领域，并在智能控制、模式识别、信号处理、 语音识别及机器人等方面取得了令人鼓舞的进展。鉴于上述特点，近年来有许多 学者都在探索将人工神经网络应用于金融预测领域，取得了一一定的效果1 2 “。目 前国内外常采用的用于股市预测的神经网络方法：多层感知器( m u l t i 1 a y e r p e r c e p t i o n ) 法、径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 法、支持向量机( s u p p o r t v e c t o rm a c h i n e ，s v m ) 法等。但这些方法存在着一定的缺陷：如收敛速度慢、易陷 入局部极小值、推广能力差等。鉴于以上不足，并且考虑到投资者投资的主要目 的是盈利，利润大、风险小是股票投资者们一直追求的最终目标，本文在e l m a n 网络中引入时间收益因索，提出了t p f e n n ( t i m ep r o f i tf a c t o re l m a nn e u r a l 第一章绪论 n e t w o r k ) 模型，并将其用于股市投资领域。实验结果表明：本文所提出的改进的 e l m a n 神经网络用于股市投资领域具有较好的预测潜能，并且能够明显改善收 益，实现较大幅度地提高收益的目的。 大气环境质量与人们的健康及生活息息相关。随着经济和工业化进程的加 快，使大气质量严重恶化，污染的空气成为威胁所有生灵的凶险杀手，人类的生 存条件和生态系统受到严重影响。自从1 9 3 2 年起曾发生了多次震惊世界的大气 污染事件。例如1 9 3 2 年1 2 月的马斯河谷烟雾事件，由于s o 。转化为s 0 3 进入人 的肺部，导致数千人发病，6 0 人死亡；1 9 4 3 年5 月到1 0 月美国洛杉矶的光化学 烟雾事件，由于石油工业和汽车废气在紫外线辐射作用下产生的光化学烟雾，致 使大多数居民患病，6 5 岁以上老人死亡共计4 0 0 人：1 9 4 8 年l o 月美国多诺拉烟 雾事件，由于s 0 2 同烟尘作用生成了硫酸盐，吸入人的肺部，四天内约6 0 0 0 人患 病，1 7 人死亡；1 9 5 2 年1 2 月英国伦敦烟雾事件，粉尘中f e 2 0 。使s 0 2 转变成硫酸， 附着在烟尘上，吸入人的肺部，在5 天内4 0 0 0 人死亡，历年共发生1 2 起，死亡 近万人。大气污染还可抑制植物生理机制，使其生长不良，抗病抗虫能力减弱， 甚至死亡；大气污染还能对气候产生不良影响，如降低能见度，减少太阳的辐射， 导致城市佝偻发病率的增加；大气污染物能腐蚀物品，影响产品质量；而且近十 几年来，不少国家发现酸雨，雨雪中酸度增高，使河湖、土壤酸化、鱼类减少甚 至灭绝，森林发育也受到严重影响等等。以上事实表明：控制大气污染，预防污 染事件的发生，开展大气污染评价及污染预测工作已迫在眉睫。 为了控制大气污染，关心大气质量，及时、准确地预测未来大气变化、预防 严重污染事件的发生，近而提高人们的生活质量，使未来大气质量预测和评价工 作成为一个重要的研究课题。目前，国内外采用的大气预测模型主要有三种：潜 式预测、统计预测和数值预测。但上述模型各有弊端：或者预测模型过于复杂， 或者预测的结果精度欠佳 - q 。由于大气污染的变化具有较强的非线性特点，为了 得到准确的预测结果，就必须采用一种能够描述和刻画非线性现象的强有力工 具。近年来，人们将人工神经网络理论应用于大气污染预测领域，有效地克服了 常用方法存在的种种缺陷，它为大气质量预测工作提供了一种全新的方法。例如： 在1 9 9 3 年，b o z n a r 在一个高度污染的工业区，利用神经网络的方法预测s 0 2 的 浓度，近而确定能源站的发热量l s l ；1 9 9 6 年，在北美的个工业区，y i 和p r y b u t o k 采用多层感知器的神经网络方法预测臭氧的浓度t g 。本文采用具有良好容错性 和预测能力的o i fe l m a n 人工神经网络l io j ：输出一输入反馈e l m a n ( o u t p u t i n p u t f e e d b a c ke l m a n ) 网络模型，并在此模型的基础上引入惩罚收益因素，提出了引入 惩罚收益因素o i fe l m a n 神绎网络模璎，我们将其称为d p f o i f e n n ( d i r e c t i o n p r o f i tf a c t o ro i fe l m a nn e u r a ln e t w o r k ) 模型，并将其用于对长春市大气污染状况 第一章绪论 进行预测和评价，实例的预测结果和评价结果证明了该模型在大气污染预测和 评价领域具有一定的实用性和有效性，具有一定的应用前景。 1 2 本文主要内容 本文在第二章，首先介绍了人工神经网络的一些基础知识，包括人工神经网 络的工作方式、处理信息的特点、分类及网络的拓扑结构等。然后分别介绍了 e l m a n 和o i fe l m a n 人工神经网络的数学模型及其算法。 在第三章，首先介绍了时间收益因素，其次介绍了在e l m a n 人工神经网络模 型中引入时间因素，提出了一种改进的e l m a n 神经网络模型，即t p f e n n 模型， 同时具体介绍了改进模型的学习算法的推导过程。最后介绍将该改进模型用于 对股市的综合指数的预测和模拟，进而求其收益率。通过实验结果表明了该改进 模型用于股市投资是可行的，有效的，它确实能够提高投资的收益。 第四章，介绍惩罚收益因素以及引入惩罚收益因素o i fe l m a n 网络模型，即 d p f o i f e n n ( d i r e c t i o np r o f i tf a c t o ro i fe l m a nn e u m ln e t w o r k ) 。具体介绍了该 改进模型的学习算法的推导步骤以及利用该改进的模型对长春市的大气污染状 况进行预测和评价。在这一部分内容中，还介绍了在实验的过程中，如何确定 惩罚收益因素参数值以及选取的方法。模拟结果表明了d p f o i f e n n 模型能够 为大气环境的整治规划提供一种新的有效途径。 第五章，针对本文所提出的改进模型：t p f e n n 和d p f o i f e n n 两种模型 的性能进行评价和总结，对两种改进模型分别用于股市投资领域和大气污染的预 测和评价领域所具有的可行性和有效性进行分析和总结。 第二章人工神经网络综述 第二章人工神经网络综述 2 1 神经网络的发展和应用 现代的计算机具有极强的计算和信息处理能力，但是它对于模式识别、感知 和在复杂环境中做出决策等问题的处理能力却远不如人，特别是它只能按照人类 事先编好的程序机械地执行，缺乏向环境学习、适应环境的能力。早在2 0 世纪 初，人们就已经知道人脑的工作方式与现在的计算机具有差别，大脑的组织结构 和运行机制具有其绝妙的特点。人类从模仿人脑智能的角度出发，来探寻新的信 息、存储和处理方式，设计全新的计算机处理结构模型，构造一种更接近人类智 能的信息处理系统来解决实际工程和科学研究领域中传统的冯诺依曼计算机难 以解决的问题，这将会促进科学进步，并在人类生活的各个领域引起巨大变化， 从而促使人类研究人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，a n n ) 系统。简 而言之，所谓a n n 就是模仿人脑工作方式而设计的一种机器，它可用电子或光 电元件实现，也可用软件在常规计算机上仿真；或者说a n n 是一种具有大量连 接的并行分布式处理器，它具有通过学习获取知识并解决问题的能力，且知识是 分布存储在连接权( 对应于生物神经元的突触) 中，而不是像常规计算机那样按 地址存在特定的存储单元中。 尽管且前人们对大脑的神经网络结构、运行机制，甚至单个神经细胞的工作 原理的了解还很肤浅，但是基于生物神经系统的分布式存储、并行处理、自适应 学习这些现象，已经构造出了具有一定初级智能的人工神经网络。当然这种人工 神经网络仅仅是对大脑的粗略而且简单的模拟，无论是在规模上、功能上与大脑 相比相差很远。但它在一些科学研究领域和实际工程领域中，已显示了巨大的威 力。从8 0 年代初神经网络的研究再次复苏并形成热点以来，发展极其迅速，从 理论上对它的计算能力，对任意连续映射的逼近能力、学习理论以及动态网络的， 稳定性分析上都取得了丰硕的成果，特别是在应用上已迅速扩展到许多重要领 域，其主要应用领域为川： ( 1 ) 模式识别与图像处理 印刷体和手写体字符识别，语音识别，签字识别，指纹，人脸识别，r n a 与d n a 序列分析，癌细胞识别，目标检测与识别，心电图、脑电图分类，油气 藏检测，加速器故障检测，电机故障检测，图像压缩、复原。 ( 2 ) 控制及优化 第二章人工神经网络综述 化工过程控制，机械手运动控制，运载体轨迹控制，电弧炉控制。 ( 3 ) 金融预测与管理 股票市场预测，有价证券管理，借贷风险分析，信用卡欺骗检验。 ( 4 ) 通信 自适应均衡，回声抵消，路由选择，a t m 网络中呼叫接纳识别及控制，导 航，多媒体处理系统。 2 2 人工神经网络模型 2 2 1 神经网络节点的形式化描述 神经元的结构模型如图2 1 所示，甜。为构成神经网络的某个神经元的内部状 态，只为阈值，x l 为输入信号，表示从，到”，连接的权值，s ，表示外部输入 信号( 在某些情况下，它可以控制神经元，使它保持在某一状态) ，上述假设 可描述为【1 4 】： q = b + 4 一日 ( 2 - 1 ) “，= ，( 珥)( 2 - 2 ) 阡= 她) = 厦q x = g f( 2 - 3 ) z 2 图2 1 神经元结构模型 2 2 2 神经元状态转移函数的类型 当神经元没有内部状态时，可令只= “，h = 厂。常用的神经元状态转移函数 有： ( 1 ) 阶跃函数：如图2 - 2 ( a ) 所示 y 川咖代 三： 第二章人工神经网络综述 ( 2 ) 准线性函数：如图2 - 2 ( ”所示 fl盯口 y = f ( o - ) = 盯0 盯 - j 速率系数 要求： z o ，1 ) 或z 【- 1 ，+ l 】 h o p f i e l d 网络使用修正的h e b b 规则： 职獬呻( 2 5 ) 要求： z 0 ，l 或e 【- i ，+ l 】 2 纠错规则 依据输出节点的外部反馈来改变权系，使实际输出与期望输出相一致。( 有 教师指导的学习) ( 1 ) 感知器的学习规则 ( 1 ) 如果一个节点的输出正确，则连接权值不变。 ( 2 ) 如果输出本应为0 而为1 ，则相应地减小权值。 ( 3 ) 如果输出本应为1 而为0 ，则相应地增加权值。 ( 2 ) 6 学习规则 网络中神绎元j 与神经元i 的连接权值为彬，则对权值的修正为： = 玎谚y ， ( 2 - 6 ) 其中：，7 为学习率；谚= r f 为i 的偏差，即i 的实际输出和教师信号之差。 6 学习规则仅用于单层网络的学习规则，如单层感知器的学习。 ( 3 ) 广义6 学习规则 用于多层网络，对于输出层节点和相邻隐层节点问的权值修正用6 学习规 则，对于其他层间的连接权值，则使用广义6 学习规则。设i 为隐层节点，其偏 第二章人工神经网络综述 差的计算为： 4 = f ( n e t ，) 最 职= 槲 ( 2 - 7 ) ( 2 - 8 ) 其中：点为i 的上一层节点k 的偏差，降名为i 与k 间的连接权值。i 的下一层节 点的偏差可以用递归的方法得到。 ( 4 ) b o l t z m a n n 机学习规则( 模拟退火算法) 模拟退火算法是应用于神经网络中的一种重要的算法，该算法能找到全局最 优解。1 9 8 3 年g e h i n t o n t j s e j n o w s k i 和d h a c k l e y 把这种方法用于神经网 络，提出了b o l t z m a n n 机。 ( 5 ) 梯度下降算法 将数学上的最优化方法应用于a n n 中，权值的修正量正比于误差对加权的 一阶导数。 w , j - - - ，7 箦 ( 2 9 ) 其中，e 是描述误差的误差函数，r 是学习率。 3 无教师指导的学习规则 学习规则表现为适应于输入空间的监测规则。 1 竞争学习规则 在学习过程中，神经元均参与彼此间的竞争活动，具有最大输出的节点是获 胜者。该获胜者节点具有抑制其竞争者的能力和激活临近节点的能力。只有获胜 节点和其临近节点的权值允许被调整，获胜节点的临近区域( 胜域) 在学习过程 中逐渐变小。 设输入层有n 个节点，输出层m 个节点，d 。为距离接近测度，则 d ，= ( z 一) 2 i 0 , 2 ，”) ，j l 2 ，) )( 2 一l o ) 胜者 j n 。 ，e n c ( 2 - 1 2 ) ， m 一 ， x 埘仁 i 耋 i 第二章人工神经网络综述 2 3e l m a n 人工神经网络 2 3 1e l m a n 人工神经网络简介 为了论述方便，本小节先介绍一下e i m a n 神经网络，关于该网络的更详细内 容可参考文献 1 0 。e l m a n 神经网络( e l m a n ，1 9 9 0 ) 是一种动态的反馈网络，它除 了具有输入层、隐层、输出层单元外，还有一个特殊的联系单元。联系单元是用 来记忆隐层单元以前时刻的输出值，可认为是一时延算子，它使该网络具有动态 记忆的功能，其结构如图2 - 4 所示。e i m a n 神经网络的数学模型： “i ) = f ( w “即( i ) + 2 u ( k 1 ) )( 2 - 1 3 ) x c ( k ) = c c ( t 1 ) + x ( k 一1 ) ( 2 - 1 4 ) y ( i ) = g ( w i i ) )( 2 1 5 ) 其中连接权一为联系单元与隐层单元的连接权矩阵，矿为输入单元与隐层 单元的连接权矩阵，为隐层单元与输出单元的连接权矩阵，x c ( k ) 和工( 女) 分别 表示联系单元1 和隐层单元的输出，y ( k ) 表示输出单元的输出，0 口 l 为自连 接反馈增益因子。，( j ) 多取为s i g m o i d 函数，如公式( 2 1 6 ) 所示。 m ) = 专 2 3 2e l m a n 人工神经网络学习算法 ( 2 1 6 ) 设第t 步系统的实际输出为y d ( k ) ，则e l m a n 网络的目标函数即误差函数可 表示为： e ( 女) = 互1 ( 均( ) 一y ( 硝( 肋( t ) 一j ，( 女) ) 根据梯度下降法，分别计算耳硒对权值的偏导数并使其为0 ， 网络的学习算法： “3 = 啦群_ ( 女) ( f _ l ，2 ，m ；，= l ，2 ， ) a 吆= 啦秽( t 1 ) ( ，= j ，2 ，n ；q = l ，2 ，r ) 硼2 确至c 酽咿，筹啦伢+ 川加，帕 掣= ( 儿，( i ) 一只( i ) ) g ( ) ( 2 - 1 7 ) 可得到e i m a n ( 2 1 8 ) ( 2 19 ) ( 2 - 2 0 ) f 2 2 1 ) 第二章人工神经网络综述 霹= 卦mq w ”3 彬( ) f 2 2 2 ) 券蚋”聃。可8 x i ( k - i ) 睁啦，硝加朋 p z ， r , ，琅，扔分别是以和的学习步长。 图2 - 4e l m a n 网络结构示意图 2 4o i fe l m a n 人工神经网络 2 4 1o 腰e l m a n 人工神经网络简介 o i fe l m a n ( o u t p u t - i n p u tf e e d b a c ke l m a n ) 日p 输出一输入反馈e l m a n 人工神经网 络是文献【i o 】在e l m a n 网络的基础上所提出的一种改进的神经网络模型，其结构 如图2 - 5 所示。该模型除了输入层、隐层、输出层单元外，还有一个特殊的联系 单元，联系单元是用来记忆隐层单元以前时刻的输出值，可认为是一时延算子。 因此这里前馈连接部分可以进行连接权修正，而递归部分则是固定的，即不能进 行学习修正。在e l m a n 网络模型中只计入了隐层节点的反馈，而没有考虑输出层 节点的反馈。由于各层神经元的反馈信息会影响网络的信号处理能力，因此在 o i fe l m a n 网络中增加了输出层节点的反馈，称之为联系单元2 ，并将它放在第 一层，与输入单元和联系单元一起作为隐层节点的输入，其数学模型为： h t ) = 厂( i ，1 ( 女) + w 7 2 u ( k 一1 ) + 4 y a k ) ) j 0 ( 1 ) = a x c ( k 1 ) + x ( k 1 ) f 2 2 4 ) ( 2 - 2 5 ) 第二章人工神经网络综述 y a k ) = j ，0 ( t i ) + y ( t 一1 ) 贝t ) = g ( w 7 3 t ) ) ( 2 - 2 6 ) 佗一2 7 ) 其中w ，为联系单元与隐层单元的连接权矩阵，w ，2 为输入单元与隐层单元的 连接权矩阵，为隐层单元与输出单元的连接权矩阵，为联系单元2 与隐层 单元的连接权矩阵，材缈、删分别表示联系单元1 和隐层单元的输出，弧，为 自连接反馈增益因子，弘内、y 内分别表示联系单元2 和输出单元的输出。倒多 取为s i g m o i d 函数，如公式( 2 一1 6 ) 所示。 图2 5o i fe l m a n 人工神经网络 2 4 2o 腰e l m a n 人工神经网络学习算法 在动态反馈o i fe l m a n 神经网络中，将e 对连接权，俨和分别求 偏导使其为0 ，由梯度下降法可得o i fe l m a n 网络的学习算法。 设第k 步系统 的实际输出为妇内，则o i fe l m a n 网络的目标函数即误差函数如公式( 2 一1 7 ) 所示， 则o i fe l m a n 网络的学习算法： 卅= 研薹( 秽嵋) 筹俨1 2 ，川，i l ，2 朋 ( 2 2 8 ) 1 2 = r 1 2 影p ( k - 1 ) ( j = l ，2 ，n ；q = l ，2 ，) w 夕= 仉鄙o ( 女) ( f - l ，2 ，m ；j = l ，2 ，功 f 2 2 9 ) 佗一3 0 ) 第二章人工神经网络综述 川= 仉善( 坩) 筹如朋- l z ，帕( 2 - 3 1 ) ! 等珊w m 型竽“俨l 如，呻( 2 - 3 2 ) 匆铆嵋o - 1 h 7 俨坛一”1 2 一枷 其中r nr z , 珈和r 4 分别是一，f _ 和矿的学习步长，群，劈， 钙o ) a 彬分别如公式( 2 2 1 ) ，( 2 - 2 2 ) ，( 2 2 3 ) 所示 1 4 第三章e l m a n 神经喇络及其在股市中的应用 第三章e l m a n 神经网络及其在股市中的应用 目前，人工神经网络是科学技术发展的新热点，它的发展将会给整个信息 科学带来里程碑的变化。由于神经网络能自动地逼近那些最佳刻画了样本数据规 律的函数，而不论这些函数具有怎样的形式，且所考虑的系统表现的函数形式越 复杂，神经网络的这种特性就越明显。k h o m i k 等人已证明神经网络能够任意逼 近很多函数，且能揭示数据样本中蕴含的非线性关系 1 2 - 1 3 。鉴于神经网络具有的 这种广泛的适应、学习能力以及很好的鲁棒性，并行处理、分布式存储能力，近 年来许多学者都在探索将它应用于预测领域，为它在预测领域的应用开辟了广阔 前景。 股票市场作为市场经济的重要体现，以其高风险、高收益的特点吸引着广 大投资者投入其中，试图获取高额回报。投资者们在投资的过程中最关心的问题 是股市涨跌行情的变化趋势，因此，股市指数和股票价格的预测，成为证券界和 学术界一个令人十分感兴趣的问题。股票的运作是一个巨大的极其复杂的非线性 动力学系统，股票指数的变化具有强烈的非线性特点，受多种因素影响，虽然没 有预测其走势的万能公式，但还是有一定的基本规律可以遵循。根据信息经济学 与理性预测的思想，这些规律完全隐藏在历史数据中，从数学角度来讲，这种规 律表现为函数关系。预测的关键就是要找出并利用这些规律。由于股票预测的输 入数据是一个时_ 间序列，依据数据本身的内在联系建立神经网络模型，该模型能 够具有良好的自组织、自适应性，有很强的学习能力和抗干扰能力。它能自动从 历史数据中提取有关经济活动中的知识，可以克服传统定量预测方法的许多局限 以及面临的网难，同时也能避免许多人为因素的影响，因而在股市预测模型建造 的合理性以及适用性等方面都具有其独特的优点。 鉴丁二上述特点，近年来许多学者都存探索将它应用于金融预测领域，取得了 一定的效果 i ”。如赵宏等分析了影响证券市场的各种因素，探讨了预测分析方 法和定量预测模型的选择原则，在此基础上，使用改进b p 网络，给出了用于证 券市场预测的通用模型，选用r s i 、k d 等股市分析技术指标构成输入样本向量， 使州滚动测试技术对深市综合指数的买入时机进行了预测，预测精度从3 0 可逐 渐达到8 0 。王上飞等从非线性时间序列颅测的角度出发，使用滑动窗技术与 r b f 网络对i b m 公司的股票进行了预测，曲线拟合的效果很好。郑丕谔、马艳 华提出一种基于r b f 神经网络的股市j 负测建摸方法，并采用递阶遗传算法训练 r b f 网络的参数、权值和结构，对上证综指和伊利股份进行预测，经过5 0 0 代遗 第三章e i m a n 神经网络及其在股市中的应用 传进化，对上证综指逼近的最大相对误差为8 5 7 。 目前，国内外经常采用的用于股市预测的神经网络方法：多层感知器 ( m u l t i l a y e rp e r c e p t i o n ) 法、径向基函数( r a d i a lb a s i sf u n c t i o n ，r b f ) 法、支持向量 机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 法等。但这些方法存在着一定的缺陷：如收敛速 度慢、易陷入局部极小值、推广能力差等。鉴于上述情况，本文在具有动态反馈 机制的e l m a n 神经网络的基础上提出了一种改进的e l m a n 模型，将时间收益因 素引入到e l m a n 神经网络的目标函数中，建立了引入时间收益因素e l m a n 神经 网络模型，即t p f e n n ( t i m ep r o f i tf a c t o re l m a nn e u r a ln e t w o r k ) ，并将其用于预 测股市的综合指数，进而求其收益率。 通常将预测值与目标值的误差( 即拟合度) 作为判断一个预测模型性能好坏 的主要标准。但考虑到股票投资者投资的主要目的是盈利，因此在进行股票预 测时，在关注拟合效果的同时，更应关注收益的多少1 29 。为了计算收益，引入一 个假设可以得到的利润来评价一个模型的性能。使用如下交易规则：假定在交 易前，手中有s e e d 元作为种子钱，当预测的价格上升时，种子钱全部用来买入， 直到预测到下一个转折点，即价格将要下降时再把手中的股票全部抛出，等到预 测的价格再上升时，再把手中的钱全部用来买入。利润率的计算公式如下： ( 3 - 1 ) 其中，p r o f i t 是指经过投资交易后所能获得的利润率，s e e d 和r e m a i n i n g 分 别指期初资产和期末资产。 3 1 时间收益因素简介 如果输入数据是一个时间序列，当输入的数据距离当前预测的时间更近时， 它对当前预测值的影响就越大。时间收益因素f r e ( t ) 能够增强距离当前时间近的 数据样本的影响，而削弱距离当前时间较远的数据样本，因此r e f e n e s 在文献 3 1 】 提出的打折最小二乘法( d i s c o u n t e dl e a s ts q u a r ef u n c t i o n ) 中介绍了时间收益因素 f r e t ) ，f r e ( t ) 可由公式( 3 - 2 ) 所示，其中a 为打折率，k 为数据样本的数量，为迭 代次数。 ，品( ，) = 1 ，( 1 + e x p ( a - 2 a t k - ) )( 3 - 2 ) 第三章e l m a n 神经网络及其在股市中的应用 3 2 引入时间收益因素e l m a n 神经网络简介 由于神经网络的输入是以前的历史数据样本，它可认为是一个时间序列，因 此将时问收益因素引入到神经网络模型中具有重要的意义，它能够提高网络的预 测性能，使预测结果更加精确。根据r e f e n e s 的思想，本文通过在e l m a n 神经网 络的目标函数中引入一个时间收益因素加，提出了一种引入时间收益因素 e l m a n 神经网络模型，我们将其称为t p f e n n 模型( t i m ep r o f i tf a c t o re l m a n n e u r a ln e t w o r k ) ，其目标函数可用下式表示： i e r e ( t ) = 南e ( f )( 3 - 3 ) t = l 3 2 1 引入时间收益因素e l m a n 神经网络的学习算法 根据梯度下降法，用公式( 3 2 ) 、( 3 3 ) 修正公式( 2 一1 8 ) 、( 2 - 1 9 ) 、( 2 - 2 0 ) ，即计 算匠以七) 的偏导数使其为0 ，我们可得到引入时间收益因素e l m a n 神经网络的学 习算法，即t p f e n n 算法，算法的推导过程如下： ( 1 ) e 冲对3 ( 隐层到输出层连接权) 求偏导 器= 耋m 竺1 篙竺2 = 耋知( ，) ( 扣，i t ) 训) ) 2 y d ( ，) ，j - - v 掣y ：k ! o w = 知( ，) ( 寺( y 却一y ，( f ) ) 2 ) j ( ，) - = 万一 ，- i o = 窆 = z f 口( t x ，( ，) ( 2 ) e r p x 寸以输入层到隐层连接权) 求偏导 琵= 砉舢，筹 = 枷蠊1 n 器筹 = 南( ，) ( ( ，山( ，) 一只( f ) ) 2 ) 詈尝吾 ，= l ，；l“vj 口w ， m = 力p ( ，) ( y d ，( ，) 一y ，( ，) ) g ：( ) w 扩f7 ( ) ，口( f 1 ) = ；| ；南( f 埘咏f - 1 ) ( 3 ) e 7 p 对w ( 结构单元到隐层连接权) 求偏导 第三章e l m a n 神经网络及其在股市中的应用 崭= 砉触，筹 = 妻删净抄删y 器筹 = ，知o ) (