（控制理论与控制工程专业论文）小波分析和神经网络在股市预测中的应用.pdf

摘要 摘要 股票交易作为证券投资的一种，正越来越成为广大投资者的一个重要投资手 段，同时，股票市场又是一个效益与风险并存的地方，没有分祈的投资是盲目的 投资。神经网络具有良好的非线性逼近能力和对杂乱信息的综合能力，作为一种 有效的智能信息处理方法在股价预测上已经取得了令人瞩目的发展和广泛的应 用。 然而，股票市场是一个复杂的非线性动力系统，同时受多种因素的交互影响， 对于股票未来价格的精确预测是非常困难的，也可以说是不可能的，但对于短期 的或长期的趋势预测，则相对而言较为简单。对于预测学来说，存在一个预测精 度和预测强度的问题，即对于某个预测目标，模型所能达到的预测精度和预测强 度成反比，预测强度越弱，预测精度越高。本文的研究目的就是在合理的预测强 度下，建立模型以提高预测的精度。 在本文中，首先系统地分析了人工神经网络原理、基本结构及其功能，随后 介绍了小波分析的原理和应用，接着介绍了股市中平均线交易规则的方法和应 用。在此基础上，对所选股票进行了短期预测和长期预测。所谓短期预测就是利 用小波对所选取股票的日数据进行消噪处理，然后再通过神经网络学习预测，输 出则是短期平均线的走势情况。该模型的算法收敛速度快、预测精度高，同时所 得结果对投资者也有很大指导意义。而长期预测则是选取周数据输入神经网络进 行学习预测。 本文的研究对理解中国证券市场，准确预测证券价格走势，提供投资者有效 的买卖信息有重要的意义。 关键词神经网络，小波分析，移动平均线，预 9 1 4 ，m 盯l a b 北京工业大学工学硕士学位论文 a b s t r a c t a sak i n do fp o r t f 0 1 i oi n v e s 扛n e n t ，t 1 1 es t o c ki n v e s 缸n e n th a sb e 髓a i li m p o r t a m t i n v 器仃n e n tm e a i l s ，a tt 1 1 es 锄et i m e ，m es t o c km a r k e ti sap l a c ew h e r eb e n e f i ti si n c o m p a n yw i mr i s kn i sab l i n d n e s si n v e s 廿i l e n ti f 也e r ci sn oe n o u g ha n a l y s i s t h e n e u r a ln e t w o r kh a sn i c ec 印a b i l 埘o f 印p r o a 出n gn o n _ l i n e a ra n ds ”m e s i z i i l g d i s o r d c ri n f o m a d o n ，a 1 1 di th a sa c h i c v e df i n ed c v d o p m e n t sa n db r o a da p p l i c a t i o n si n p r i c ef j r e c a s t i n g b u ts t o c km a r k e ti sac o m p l c xn o n 1 i n e a rd ”a m i cs y s t e i n i ti sd i 币c 1 1 l tt o f o r c c 喊a c c u m t e l yu n b o m 研c eo fs t o c k ，w ec a l le v e ns a yi ti si n l p o s s i b l e h o w e v i ti se a s yc o r r e s p o n d i n 西yt of o r e c a s ts h o r t t 钉mo rl o n g - t e m l 打e 1 1 d t bf o r c c a s t i n 舀 m e r ei sap r o b l e ma b o u tf i o r e c a s ta c c 眦a c ya n df o r e c a s ti n t e n s i t y t baf o r e c a s tt a r g c t ， m ef o r e c a s ta c c u r a c ya i l dt 1 1 ef o r e c a s tm t e n s i 哆a r en e g a t i v d y 也e1 0 w c rf o r e c a s t i n t e n s i t y t 1 1 el l i g h e rf o r c c a s ta c c l l r a c y t h ep u f p o s eo f t h es t u d y i st os e tu pam o d e lt o i m p r o v ef o r e c a s ta c c u r a c yu n d c rar e a s o m 出1 ef i o r e c a s ti n t 鼬s i ty m t l l i s p a p e r ，a t 矗1 s t ，w ea n a l y z e d t 王l e t h e o r y 姐d t h es 仇l c n l r e a n d m e 向n c t i o o f 锄r a ln e m o 如s e c o n d l y ，i n 仃o d u c e dt l l et l l e o r ya n dt l l ea p p l i c a t i o no f w a v c l c ta 1 1 a l y s i s ， t h i r d l xi n 仰d u c e dm em 劬o da i l dm e 印p l i c a t i o no fm en 1 1 eo fa v e r a g el i n 巳0 1 1 1 i s b a s i s ，m es h o n t e f mf o r e c a s ta 1 1 d 也el o n g t e n nf o r c c a s tw e r em a d e t h es h o r t - t 唧 f - o r e c a s ti st oc l e a ru p 也ed a i l yd a t ab yw a v e l e ta n a l y s i s ，t l l c nt h er e s l l l tw i l lb ei n p u t t om en e u m ln e t w o r kt ob el e 珊c da n df o r e c a s t e d ，t h eo u t p u ti sm e 仃e n do f a v e r a g e 1 i n e t h el o n g - t e 衄f o r e c a s ti st oc h o o s ew e e k l yd a t at 0i n p u tm en e u i 吼n e t w o r kt 0b e l e 锄e da n df b r e c a s t e d t h i sr e s e a r c hh a s 黟e a ti m p o r t a l l c ei nu n d e r s t a n d i n ga e s es t o c km a r k e ta n d f b r e c a s t i l l ga c c u r a t d yf o rs t o c kp r i c e ，i tp r o v i d e se 彘c t i v ei n f b m 枷o na b o u tb u ya 1 1 d s a 】et oi n v e s t o rt o o k e y w o r d sn e m ln e 柳o r k ，w 打e l e ta n a l y s i s ，m o v i n ga v e r a g el i n e ，p r e d i c t i o n ， m a t l a b i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名： 二 墨 日期：2 塑! ： 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：j 墨：导师签名：为辽吼墨盟 第l 章绪论 1 1 课题的研究意义 第l 章绪论 我国证券市场从1 9 9 0 年试点到现在，只用了1 0 年左右的时间，却走过了发 达国家数百年的历程，正逐步成为整个金融业的重要组成部分。股票交易作为证 券投资的一种，也越来越成为广大投资者的一个重要投资手段。股票市场是一个 效益与风险并存豹地方，没有分析的投资是盲目的投资。 股票价格的准确预测意味着投资者高额的市场回报和政府部门对市场的有 效监管。为此自股票市场建立以来，众多国外学者对股票价格预测模型的研究形 成一个焦点。然而股票市场是一个影响因素众多的复杂的非线性动力学系统，即 内部的动力机制是确定的，股价的历史数据和其他信息蕴含着可用于预测未来股 价的信息，即存在一个函数：r p + 1 ) = ，( z 。l z ，置+ ，z ，只。，一，) 。其中， y 表示股价，z ，r 是外部变量。若只考虑股价序列内部关系，则，可表示为 y o + 1 ) = “e 。l i ) 。预测的关键在于由样本数据构造或用适当的方法逼近这一 函数厂。然而，常常是非常复杂的，传统的线性预测方法对观测样本加权求和 作为预测结果显然是不妥的。相比之下，人工神经网络作为一种大规模并行处理 的非线性系统，依据数据本身的内在联系建模，具有良好的适应性与自学习能力、 较强的抗干扰能力，在股票价格的预测中已取得了令人比较满意的成绩。 基于人工神经网络的股价预测模型研究有利于降低投资者的投资风险。在股 票交易中，收益与风险并存，收益最大化、风险最小化是所有股票投资者追求的 目标。使用人工神经网络预测方法，综合使用基本分析方法和技术分析方法，在 误差允许范围内对股票价格进行科学预颡j 和分析，和单独使用传统的证券分析方 法相比，更易于规避风险，为股票投资者的投资决策提供辅助的决策支持。 1 2 国内外研究综述 1 2 1 证券分析方法 ( 1 ) 基本分析方法 基本分析法的主要目的是判断股票现行价位是否合理并且描绘出股票长远 的发展空间。其理沦依据是股票价格由股票内在价值决定，通过分析影响股票价 的发展空间。其理论依据是股票价格由股票内在价值决定，通过分析影响股票价 一l 北京工业大学工学硕士学位论文 格的基本条件和决定因素，判断和预测其发展趋势。基本分析主要包括以下三个 方面1 】： 宏观经济分析 证券市场与宏观经济密切相关，尤其是股票市场索有宏观经济晴雨表之称。 所以宏观经济分析对于证券投资来说非常重要，不仅投资对象要受到宏观经济形 势的深刻影响，而且证券业本身的生存、发展与繁荣也与宏观经济因素息息相关。 产业分析 在国民经济中，各产业的发展不平衡。一些产业如日中天，一些产业则苟延 残喘。一些产业的增长与国民生产总值的增长保持同步，另一些产业的增长高于 国民生产总值的增长，另外一些产业的增长则低于国民生产总值的增长。所以， 如果选择某企业进行投资，就有必要研究其所属产业的状况，包括产业的性质、 产业的发展趋势等。 企业分析。 任何谨慎的投资者，在决定投资于某公司股票之前必然要有一个系统的收集 资料、分析资料的过程。通过对拟投资对象的背景资料、业务资料、财务资料的 分析，从整体上多角度地了解企业，才能适当地确定公司的合理定价，进而通过 比较市场价位与合理定价的差异而进行决策。 基本分析能够比较全面地把握证券价格的基本走势，并且应用起来比较简 单。因而它应该是中长线股票投资者应该采用的主要的分析方法。但是基本分析 有其致命的弱点，它对市场的反应比较迟钝，预测的时间跨度相对比较长，因此 对市场的短线操作缺乏指导意义。对普通散户投资者而言，要想熟练的利用基本 分析法指导日常操作还是比较难的。 ( 2 ) 技术分析方法 技术分析是通过观察分析证券在市场中过去和现在的具体表现，应用有关逻 辑、统计等方法，归纳总结出在过去的历史中所出现的典型的市场行为特点，得 到一些市场行为的固定模式，并利用这些模式预测证券市场未来的变化趋势。技 术分析赖以存在的基础是下面的三个假设：1 市场行为包含一切信息；2 价格沿 趋势移动，并保持趋势；3 历史会重演。 目前流行的技术分析方法可以分为如下六个大类【2 ) ： 技术指标法 全世界已经存在的技术指标的数量数不胜数。相对强弱指标( r s i ) 、随机指标 ( ) j ) 、趋向指标( d m i ) 、平滑异同移动平均线( m a c d ) 、心理线( p s y ) 、乖离率 ( b 队s ) 等都是著名的技术指标。 支撑压力法或支撑压力线法 第1 章绪论 支撑压力线是按一定的方法在价格图表中画出一些直线，这些直线就叫做支 撑压力线。支撑压力线的作用是限制证券价格波动，也称为支撑或压力作用。根 据这些直线可以推测价格的未来趋势。支撑线和压力线往后的延伸位置也有可能 对价格今后的波动有一定的制约作用。 形态法 形态法是根据价格在波动过程中留下的轨迹的形状来判断多方和空方力量 的对比，进而预测价格未来的趋势的方法。著名的形态有m 头、w 底、头肩形、 三角形等十几种。 k 线法 k 线法是用某种方式记录了市场中证券价格每个时间段的位置，其中使用最 多和最方便的是k 线。k 线法的研究手法是根据若干天k 线的组合形态，推测 证券市场多方和空方力量的对比。 波浪理论法 波浪理论把价格的上下变动和不同时期的持续上涨下降看成是波浪的上下 起伏，价格的波动过程遵循波浪起伏所遵循的周期规律。这个周期规律就是波浪 结构。如果数清楚了浪，就能知道当前所处的位置，进而明确应该采用何种策略。 循环周期法 循环周期法的出发点是根据历史，发现价格波动已经存在的周期性。通过对 时间的分析，告诉我们应该在一个正确的时间进行投资。循环周期理论是周期法 的重要代表。 技术分析的优势是同市场比较接近，考虑问题比较直接，用技术分析指导股 票买卖见效快，获得利益的周期短。技术分析能够根据那些残留在图表上的变化 痕迹反过来了解基本面的变化，似乎有先人一步的敏锐，但也有其局限性。由于 技术指标分析方法众多，各种方法之间差别巨大，对于投资者来说学习不易，掌 握更难，同时技术分析理论缺乏可靠的理论支持，虽然直到目前它仍然是大多数 投资者在使用和依赖的分析预测方法，但是改进和发展它己经成为不可避免的事 实。 ( 3 ) 组合分析方法 现代投资组合理论研究的是有关对多种资产进行选择和组合的问题，即投资 者在权衡收益与风险的基础上如何使自身效益最大化以及由此对整个资本市场 产生怎样的影响”。1 9 5 2 年哈里马克威茨( h a 玎了m a r k o w i t z ) 在金融杂志( j o u m a l o ff i i l 蛆c e ) 上发表“资产选择：投资的有效分散化”一文以及其在1 9 5 9 年出版的 同名专著标志着现代投资理论的产生，同时其为现代投资理论的发展奠定了基 础。继马克威茨后，2 0 世纪6 0 年代，威廉f 夏普( w i l l i 锄fs h a r p e ，1 9 6 4 ) ， 林特 一3 北京工业大学工学硕士学位论文 勒( j o l l nl i i l 协e r ，1 9 6 5 ) 和奠辛( j o l l nm o s s i n ，1 9 6 6 ) 分别独立提出了著名的资本资 产定价模型( c a p i t a la s s e tp r i c i n g m o d e l ，c a p m ) ，该模型对投资理论的发展起到 了巨大的推动作用。由于人们在检验c a p m 时遇到了无法克服的困难，甚至断言 c a p m 是根本无法验证的一个理论。1 9 7 6 年斯蒂芬罗斯( s t e p h e nr o s s ) 提出了套 利定价理论b i t r a g ep r i c i i l g1 1 1 e o r y ，a p t ) 。这三大理论构成了现代投资组合理 论的主要内容。 尽管如此，投资组合理论仍然受到证券投资的实际操作者的怀疑，认为它只 具有理论意义，而缺乏实际价值。 1 2 2 股市预测方法 ( 1 ) 时间序列预测方法 这种方法主要是通过建立股价及综合指数之间的时间序列相关辨识模型预 测股市未来变化。基本方法有：移动平均法、指数平滑法、平稳随机分析( 包括 自回归模型a r 、移动平均模型m a 和自回归移动平均模型 r m6 x 三种方法等) 、 非平稳随机分析( 包括自回归综合移动平均模型a r i m a 和周期性模型两种方法 等) 。 ( 2 ) 经济计量方法 经济计量方法是股票常用的定量预测方法。用经济计量方法对某一经济过程 进行预测可分为两个阶段：建模阶段和预测阶段。在建模阶段，对于具体的经济 计量模型的选择要考虑到相关的经济理论、可获得的统计数据的具体情况、预测 精度的要求、预测经费的限制等制约因素。在预测阶段，要确信经济的未来运行 相对于既定的模型在预测跨度区间内不发生大的结构性变动。 ( 3 ) 灰色预测方法 灰色预测是指虽然知道自变量和因变量之间可以满足某种数学关系或满足 某种特定条件，但是由于历史数据的不全面和不充分或某些变量尚不清楚和不确 定，使得预测处于一种半透明状态。随着事件的发展，数据的逐步积累，一些不 确定的因素逐渐明确，其预测将逐渐由暗变明。这种方法的预测理论基础主要是 灰色系统理论和模式识别理论。 ( 4 ) 神经网络预测方法 股票市场是个复杂且难以预测的系统，影响股价变动的因素很多，是个典型 非结构性及非线性的系统，人工神经网络提供了一个较佳的解决方法m 1 。最早报 道将神经网络用于预测问题的是p w e r b o s ，此后，又有大量的文献报道了神经网 络在时间序列分析和预测领域中的应用陋6 】。在股市的预测方面，1 9 9 0 年后己有 了许多尝试并取得过较好的结果【7 。总的看来，这些工作有以下几种： 一4 一 第l 章绪论 用类b p 网络直接进行股价的长期或短期预测 采用基本的多层前馈网络( 一般为三层) 结构。在进行长期预测时，输入参量 主要考虑影响股市的基础因素指标，如利率、经济增长率等，输出可以是相对平 均股价或升降趋势。 用6 田或k _ 0 h o n e n 的自组织网络与类b p 网络相配合进行预测 基本思想是利用耻玎或k o h o n e n 自组织网络识别股市中的一些典型形态，由 网络去分析和识别。好处在于在进行有指导的训练之后，网络能直接给出提示 “买”或“卖”的操作信号，训练时间较短。但是系统较为复杂，不易实现。 用基函数法进行预测 非线性基函数辐射网络也在模式识别和时间序列预测中得到了成功应用。它 的结构类似于多层b p 网络，不同点在于连接点不是对输入进行简单线性求和，而 是进行非线性基函数的直接处理。 1 3 本文的主要内容和创新 1 3 1 本文主要内容 ( 1 ) 研究的意义及股市预测中常用的方法 ( 2 ) 基于b p 学习算法的神经网络； ( 3 ) 小波分析在处理股票数据中的应用； ( 4 ) 股票的平均线交易规则； ( 5 ) 基于小波神经网的股市预测模型： ( 6 ) 股市预测实验和结果分析。 1 3 2 本文结构安排 第1 章绪论 第2 章神经网络基本理论及b p 算法 第3 章小波分析基本理论及应用 第4 章股票的平均线交易规则 第5 章研究方法和模型设计 第6 章股市预测实验和结果分析 1 3 0 本文的创新 当我们要对一个系统的行为作出预测的时候，首先要回答预测什么? 比如天 北京工业大学工学硕士学位论文 气预报，预测温度，是否有雨等等。几天后的天气预报比较准确，但几个月后的 就差多了，几年的简直不敢想象。长期不可预测是由气象系统的混沌特性决定的。 在此，应该引入预测强度的概念，对于某个预测目标，模型所能达到的预测精度 和预测强度成反比，预测强度越弱，预测精度越高。 在股票市场预测上，可以预测股价、收益率、涨跌等等。显然股价是预测强 度最高的，收益率等价于股价，而涨跌的预测强度较低，因为它只是收益率的符 号，为正就涨，为负就跌。以前的多数论文就是围绕这几个目标作预测的，效果 不理想。有人据此认为金融市场服从随机游走( r a n d o mw a l k ) ，预测不会有超额收 益。可是金融市场真的是不可预测，还是我们没有找到合适预测强度的目标? 对于系统的预测，我们应该能建立预测强度由强到弱的一组预测目标，然后 荐在这些目标上尝试建模，找到预测精度合适的预测目标，可以用某种目标的收 益来度量预测强度。收益越高对应的预测强度也越高。然后在不同收益水平上建 模，找到令人满意的预测精度。如果真的不可预测，将会发现在所有收益水平上 建模精度都很差。 应用神经网络作预测，以前比较关心的是模型输入x 的选择，涉及变量选择、 特征抽取，但是更重要的是预测目标y ，最后才是神经网络本身的技术问题。本 次研究选取移动平均线的走势作为预测目标，与将股票价格直接作为预测目标相 比，显然它的收益水平要低，对应的预测强度也要低，而其预测精度会提高。 第2 章神经网络基本原理及b p 算法 第2 章神经网络基本原理及b p 算法 2 1 生物神经网络 电子元件的相互联结，形成电路( e 1 e c u c i r c u i l _ ) 或电子线路( e i e c 仕o i 】i c c i r c u i t ) 。而神经元的相互联结，则形成神经线路( n e u r o n a lc n u i t ) 。神经元的互 联形式是多样的、复杂的。多样性和复杂性使神经线路表现出网状特性，并形成 神经网络。人类大脑大约包含有1 4 1 0 “个神经元，每个神经元与大约10 3 1 0 5 个其他神经元相连接，构成一个极为庞大而复杂的网络，即生物神经网络”。 生物神经网络有如。f 五个基本特征： ( 1 ) 神经元之间的联结强度决定信号传递的强弱； ( 2 ) 神经元之间的联结强度是可以随训练改变的； ( 3 ) 信号是可以起刺激作用的，也可以是起抑制作用的； ( 4 ) 一个神经元接收信号的累积效果决定该神经元的状态； ( 5 ) 每一个神经元可以有一个“闽值”。 显然，神经元是人脑信息处理系统的最小单元。人脑中神经元的形态不尽相 同，功能也各异，但从组成结构来看，各种神经元是有共性的。下图为一典型神 经元的基本结构示意图。 图2 1 生物神经元结构图 f i g u r e2 l 耵1 ef i 如ed f b i 0 1 0 9 i c a l n e u r 伽 神经元在结构上由细胞体、树突、轴突和突触四部分组成m 1 。细胞体是 一7 一 北京工业大学工学硕士学位论文 神经元的主体，由细胞核、细胞质和细胞膜三部分构成。树突：从细胞体向外 延伸出许多突起的神经纤维，其中大部分突起较短，其分支多群集在细胞体附近 形成灌木丛状，这些突起称为树突。神经元靠树突接收来自其他神经元的输入信 号，相当于细胞体的输入端。轴突：由细胞体伸出的最长的一条突起称为轴突。 轴突比树突长而细，用来传出细胞体产生的输出电化学信号。轴突也称为神经纤 维，其分支倾向于在神经纤维终端处长出，这些细的分支称为轴突末梢或神经末 梢。神经末梢可以向四面八方传出信号，相当于细胞体的输出端。突触：神经 元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接， 这种连接相当于神经元之间的输入输出接口，称为突触。突触包括突触前、突触 间隙和突触后三个部分。突触前是第一个神经元的轴突末梢部分，突触后是指第 二个神经元的树突或细胞体等受体表面。突触在轴突末梢与其他神经元的受体表 面相接触的地方有1 5 5 0 n m 的间隙，称为突触间隙。每个神经元大约有1 0 3 1 0 5 个突触，多个神经元以突触连接即形成神经网络。 2 2 人工神经网络概述 人类的思维有逻辑性和直观性两种不同的基本方式。逻辑性的思维是指根据 逻辑规则进行推理的过程，它先将信息化成概念，并用符号表示，然后根据符号 运算进行逻辑推理：直观性思维是将分布式存贮的信息并行协同处理，人工神经 网络就是以一个非线性动力系统来模拟人类的第二种思维方式，这也是人工智能 专家建立神经网络的初衷。然而由于人工神经网络的非线性函数任意逼近能力， 泛化能力，以及非参数模型等突出的特点，近十年来，其应用范围大大超出了人 工智能领域，几乎己经涉及到自然科学领域的每一个分支。在经济预测领域，传 统的计量经济预测模型一般都是线性的、参数模型，神经网络的出现，因其上述 众多特点，受到了学者们前所未有的青睐。从2 0 世纪9 0 年代开始，大量的关于各 类神经网络在经济预测领域【l 。”】，包括股票价格预测的文献出现在经济学期干u 上，一直到现在，神经网络仍然是经济预测最为有效的手段。 人工神经网络是一个并行、分布处理结构，它由处理单元及其称为联结的无 向讯号通道互连而成。这些处理单元( p e _ p r o c e s s i n ge l e m e n t ) 具有局部内存，并 可以完成局部操作。每个处理单元有一个单一的输出联结，这个输出可以根据需 要被分成希望个数的许多并行联结，且这些并行联结都输出相同的信号，即相应 处理单元的信号，信号的大小不因分支的多少而变化。处理单元的输出信号可以 是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。也就是 说，它必须仅仅依赖于经过输入联结到达处理单元的所有输入信号的当前值和存 一8 一 第2 章神经网络基本原理及b p 算法 储在处理单元局部内存中的值。 2 3 人工神经网络基础 2 3 1 人工神经元 神经元是构成神经网络的最基本单元( 构件) 。人工神经元模型应该具有生物 神经元的五个基本特性。图2 2 是人工神经元的结构图。 善l 弛 i l 轴 瓤 图2 2 人工神经元结构图 f i g l l r e2 2t h ef r a ：【n eo f a m f i c i a ln e u r o n 图中，x l ，x 2 ，) 【n 表示神经元的输入( 它们是其它神经元的输出) ，w 1 ， w 2 ，w n 表示相互联结的神经元之间的联结强度( 或权重) ，0 表示其阀值， y 表示经过该神经元处理后的输出值。通常每个神经元的输出值只有一个，但它 可以联结到其它多个神经元，作为其它神经元的输入。神经元的这种输入输出关 系可表示为： y = ，匹q 薯一日) ( 2 1 ) f a l 2 3 2 激活函数 执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数： o = e t ) 。主要有一下几种形式： 1 线性函数( l i n e rf 1 1 i l c t i o n ) ，( n 吁) = 豇4 腮e f + c( 2 2 ) 北京工业大学工学硕士学位论文 j l c 。 r o 图2 3 线性函数 f i g u r e2 3t h e c d o no f l i n e a r i t y 2 非线性斜面函数( r 锄pf 1 1 i l c t i o n ) m 咖p n e t 矿n 甜口 引n e d 目 ( 2 - 5 ) 矿以p r 口 拜艘t e ( 2 6 ) 矿刀甜s 口 j b 一 0 e n e t y 图2 4 阶跃函数 f i g u r e2 51 1 1 e 劬c t o no f p u l s e ，( 开口r ) = 口+ 6 ( 1 + e x p ( - d 以e f ) )( 2 7 ) a ，b ，d 为常数。它的饱和值为a 和a + b 。 最简单形式为： 函数的饱和值为o 和1 。 ，( 门p f ) = l ( 1 + e x p ( 一d + 栉已r ) ) ( 2 8 ) 北京工业大学工学硕士学位论文 什h ，2a + b 一 ( o ，c ) n e t 图2 - 5s 形函数 c h a r t 2 5 t h e 觚6 0 n o f s 2 3 3 人工神经网络的拓扑特性 一般来说，大而复杂的网络能提供更强的计算能力。虽然目前已经构建了很 多神经网络模型，但它们的结点是按层排列的，这一点正是模仿了大脑皮层中的 网络模块。 。 从连接方式看，神经网络主要分为两类，即反馈型网络和无反馈前向网络。 简单讲，前向神经网络就是无反馈的神经网络。从拓扑结构上讲，无反馈的网络 可以有无数种形态。随着神经网络的深入研究和广泛应用，常常要在前馈网络中 引入时间因素或部分反馈，以解决特殊问题。 1 前馈神经网络 在一个用有向连线联结的网络中，当任意两个节点i ，j 之间的联结方向确定 后，不能找到任何一个其他联结使得i ，j 之间构成一个闭合回路，这样的网络即 为前馈网络。 按联结方式，最常见最基本的结构是全联结多层前馈网络。这种网络结构有 以下特点：1 ) 前一层的所有单元均输出给下一层的每一个单元；2 ) 只有相邻层之 间有联结；3 ) 同一层内的各处理单元之间没有联结。由于这种网络的均匀性，对 称性良好，联结规则明确，又有可实用的算法，因而得到了广泛的应用。图2 6 所示为两个隐层的前馈网络。 设网络有p 个输入，q 个输出，则其作用可看作是由p 维欧氏空间到q 维欧 式空间的一个非线性映射。许多人证明了这种映射可逼近任何连续函数，此结论 可叙述如下： 令p ( ) 为有界、非常量的单调连续函数，。代表p 维单位超立方体 o ，1 】”， 1 2 第2 章神经网络基本原理及b p 算法 c ( i ，) 表示定义在i ，上的连续函数构成的集合，则给定任何函数f c ( i ，) 和f o ， 存在整数m 和一组实常数i ，o j ，w 日，其中i = l m ，j 2 1 ，p ，使得网络输出 f c 五，。，= 喜嘶妒( 善嘞弓一岛 可任意逼近，( ) ，即：p ( 五，毪，) 一厂( 而，而，o ) l o 霹= 磅砖。1 ，暑上 n a + 1 磺= ( 碟“蜡“) 哪阳一砖) ( 2 1 1 ) 曙1 = ( 以，一蟠) 珊( 1 一磺) g2 q q 一1 ，1 f 21 ，2 ，屹一l 2 4 4b p 神经网络的预测过程 确定输入层和输出层神经元的个数后，b p 神经网络的预测过程可分为网络 训练过程和性能检验过程【2 4 1 ，原始样本数据也就分为训练样本和检验样本。训 练样本用于训练神经网络，确定隐含层神经元个数和各神经元之问的连接权值。 检验样本用于检验神经网络外推预测的性能。由于b p 神经网络隐含层神经元的 北京工业大学工学硕士学位论文 个数没有固定的方法确定，一般都是通过选取最佳训练精度选取隐含层个数，也 就是选取对训练样本拟合精度最高的网络结构。然而这种方法可能导致b p 神经 网络的过度拟合，即对训练样本的拟合精度非常高，而对其他未参与训练的样本， 如检验样本或其他外推样本的拟合精度非常低。但是归根到底，利用神经网络预 测的目的在于获得较高的外推预测精度，因此上述用于确定隐含层神经元个数的 方法存在着过度拟合隐患，不能获得满意的预测结果。为了克服上述方法的缺陷， 现在一般采用的、简便易行的方法是截断评价( c m s s v a l i d a t i o n ) 方法。该方法是 将训练样本数据分为两段，前一段样本数据用于实际的网络训练，确定网络权值： 后一段数据不参与网络的训练，而是用于外推预测的评价，最后选取不同隐含层 神经元个数的网络结构中矫推预测精度最高的网络作为实际的网络结构，用于检 测样本数据的预测，检验样本的外推预测精度。这种方法一般可以克服上述的过 度拟合问题，保证选取到较好的神经网络结构，本文也正是采用这种方法进行预 测。 2 4 5b p 网络模型的检验 应用神经网络模型时，通常需要一定数量的样本对网络进行训练，以及一定 数量的样本对所训练网络的模拟能力进行检验口”。最好的方法是用两个分离的 数据集分别训练和检验模型。一个数据集用于训练和测试模型，另一个独立的数 据集用于验证模型。但实际研究中限于人力和物力，很难满足这个条件。通常有 两种分配数据集的方法，分别是交互验证和j a c 硒惋过程( l e k g u e g a i l ，1 9 9 9 ) 。 如果有足够的样本，通常采用交互验证( c r o s sv a l i d a t i o n ) 的方法，即随机地把 整个数据集分成两个部分，训练样本数和测试样本数的比例可为：l ：1 、2 ：1 、 3 ：l 等，当然前提条件是训练样本数要足以表现输入、输出变量之间的关系， 测试样本数要能足以检验网络的模拟能力，或采用全部训练样本与测试样本进行 测试。在样本数据不足的情况下，通常采用j a c l 两f e 过程分配训练样本与测试样 本，即所有样本被分成n 个部分，用n 1 个部分对样本进行训练，用其余的样本 进行测验，用同样的网络结构重复n 次，就能对网络的模拟能力进行测验。 2 5 本章小结 目前，在人工神经网络的实际应用中，绝大部分的神经网络模型采用的是 b p 网络和它的变化形式，b p 神经网络是前向网络的核心部分，它同时体现了人 工神经网络中最精华的部分。本章主要阐述了神经网络的基本结构和人工神经网 络的基础，并且对b p 网络的结构、算法及预测模型作了详尽的介绍。 第3 章小波分析理论及应用 第3 章小波分析理论及应用 小波分析属于时频分析的一种，传统的信号分析是建立在傅立叶( f o 删a ，变 换的基础上，由于傅立叶分析使用的是一种全局的变换，要么完全在时域，要么 完全在频域，因此无法表达信号的时频局域性质，而这种性质恰恰是非平稳信号 最根本和最关键的性质。为了分析和处理非平稳信号，人们对傅立叶分析进行了 推广及根本性的革命，提出并发展了一系列新的信号分析理论口“，短时傅立 叶变换、g a b o r 变换、时频分析、小波变换、r a n d o n w i 印盯变换、分数阶傅立叶 变换、线调频小波变换、循环统计量理论和调幅一调频信号分析等。其中，短时 傅立叶变换和小波变换也是应传统的傅立叶变换不能够满足信号处理的要求而 产生的。短时傅立叶变换分析的基本思想是：假定非平稳信号在分析窗函数g ( t ) 的一个短时间间隔内是平稳( 伪平稳) 的，并移动分析窗函数，使f ( i ) g ( t t ) 在不同的 有限时间宽度内是平稳信号，从而计算出各个不同时刻的功率谱。但从本质上讲， 短时傅立叶变换是一种单一分辨率的信号分析方法，因为它使用一个固定的短时 窗函数，因而短时傅立叶变换在信号分析上还是存在着不可逾越的缺陷。 小波变换是一种信号的时间一尺度( 时间频率) 分析方法，它具有多分辨分析 ( m u l t i - r e s 0 1 u o n 舳a l y s i s ) 的特点，而且在时频两域都有表征信号局部特征的能 力，是一种窗口大小固定不变但其形状可改变，时间窗和频率窗都可蛆改变的时 频局部化分析方法。即在低频部分具有较高的频率分辨率和较低的时间分辨率， 在高频部分具有较高的时问分辨率和较低的频率分辨率，是分析非平稳信号的理 想工具。 3 1 从f o 面e r 分析到小波分析 3 1 1f o u r i e r 分析 经典的f 0 u r i e r 分析指出，周期平方可积函数可以表示成三角级数。确切地说 若函数 ，( 曲e f 【* ，z 】，即( f i ，( 刮2 出) i + m ，则，( x ) 可展成如下的f 。u r i n 级数： ，( 曲r 口，口】，即( 川，( 刮2 出) i + ”，则，( x ) 可展成如下的f 。u r i c r 级数： 北京工业大学工学硕士学位论文 ，( x ) = 巳e “， 其中 巳) 被称为f ( x ) 的f o 谢e r 系数，可如下求得： 巳= 厂( 工) e 一“妣n z - 一f ( 3 1 ) 类似地，认为将函数的周期扩展到无穷大，对厂( x ) 叠( r ) ，其f a 嘶e r 交换 ( f t ) 为： 其f o 谢e r i 箜变换( 口t ) 为： 夕( ) = f 厂( 算) e “。出 r m ) = 去弘沙 ( 3 2 ) ( 3 3 ) 式中称为频率。实际应用中的信号都是时间x 的函数，因此，f o l 】r i e r 分析也 称为时( 间域卜一频( 率域) 分析。 在实际应用中为了计算f o 试e 破换，需要用数值积分。现在已经具有快速傅 立叶变换的算法( f f d ，而且对于f f t ，已经有很好的软件可以使用。 在许多应用中，给定一个信号f 【t ) ( 假定t 是一个连续变量) ，最感兴趣的问题 是在局部时间信号的频域含量。傅立叶分析的一个局限就是只知道在时间段内有 哪些成分，有多大，但不知道这些频率成分在时间段内的分布。因此对于一些高 频脉冲时间定位的信息就很难得到。对于一般的平稳变化的信号，傅立叶分析能 够充分起到分析的作用，可是对于那些突变的或暂态变化的信号，傅立叶分析将 使之失去我们所感兴趣的时间信息。 3 1 2g a b o r 变换 f o 谢e r 变换的缺点使得f t 在分析信号的瞬时特性方面显得软弱无力。g a b o r 注意到了f t 的这一不足，在1 9 4 6 年提出了信号的时频局部化分析方法g a b o r 变 换，后来发展成为短时f o 嘶e r 变换( s t f t ) 或加窗f o 谢e r 变换。s t f t 引入一个窗 口函数g ( x ) ，它是在一有限区间( 称为窗口) 外恒等于零或迅速衰减为零的光滑函 第3 章小波分析理论及应用 数，这个有限区间的位置随一个参数f 0 而变，用g ( x - 岛) 乘以所要研究的函数( 相 当于在f 0 附近开了一个“窗口”) ，然后对它作f o 谢e r 变换，即： g ，( 峨岛) = ，( x ) g o f 0 ) e 一“出 ( 3 - 4 ) 其中g 一f 0 ) 战= l ，称为关于窗口函数g ( x ) 的s t f t 。 只要适当地选择窗口函数g ( x ) ，就可以通过信号f ( x ) 的加窗f o l l r i e 皎换获得 x ) 在2 ，时间区域内的信息。 在统计意义下，定义其时频窗中心为： f 2 壶弘刮2 如 又定义其时频半径为： 2 志炒c 圳2 如 气2 壶( p ) 2 | g 降) l ，2 ，妒壶( p 国讹( m 矿 则其时一频窗大小为： 【岛一g ，岛+ g x 曲o 害，丘七+ 喜 ( 3 - 5 ) 以上分析表明，一方面可以用加窗f o 嘶e r 变换来分析信号f ( x ) 的局部性质； 另一方面，一旦窗口函数g ( x ) 取定，其窗口大小也随之确定，其时频窗的大小和 形状就决定了，时间、频率分辨率也随之确定。h e i s e n b e r g 测不准定理告诉我们， 1 无论是什么样的函数时窗的宽度和频窗的宽度之积不小于万。因此当选定一窗 z 函数，其频宽对应于某一频段( 如某一高频用于边缘检测) 时，那么时宽就不能太 窄。否则更高的频率信号就不能精确定位。另外，当窗滑动时同样大小的时频窗 同时用于高频和低频信号。这远远不能满足非平稳信号分析或突变信号处理的要 求。 北京工业大学工学硕士学位论文 3 1 3 小波变换 为了克服s t f t 的分辨率的这种限制，可以设法让。与在时间一频率平面 上改变，依然让。与趣仍然满足h e i s e n b u r g 测不准定理as t f t 变换不具有的最 重要性质是附加的条件： 或者等价于 q = ! 肾 1 时变宽，a o ) ，则随着尺扇的增加，小波变换模极大值的幅度也变大；但若信 第3 章小波分析理论及应用 号具有负奇异性时，则情况相反。 3 3 2 噪声在小波分解下的特性 在此，将噪声看作普通信号分析一下它的相关性、频谱和频率分布这三个主 要特征。 总体上，对于一维离散信号来说，其高频部分所影响的是小波分解的第一层 细节，其低频部分所影响的是小波分解的最深层和低频层。如果对一个仅由白噪 声所组成的信号进行分析，则可得出这样的结论：高频系数的幅值随着分解层次 的增加而迅速衰减，且其方差也有同样的变化趋势。在这里用c ( 五后) 表示对噪 声用小波分解后的系数，其中j 表示尺度，k 表示时间，对离散时间信号引入如下 的属性： ( 1 ) 如果所分析的信号s 是一个平稳、零均值的白噪声，那么它的小波分解系 数是相互独立的： ( 2 ) 如果信号s 是一个高斯型噪声，那么其小波分解系数是互不相关的，且服 从高斯分布； ( 3 ) 如果信号s 是一个平稳、有色、零均值的高斯型噪声序列，那么它的小波 分解系数也是高斯序列。并且对每一个分解尺度j ，其相应的系数是一个平稳、 有色的序列。如何选择对分解系数具有相关性的小波是一个困难问题，在目前也 没有得到很好地解决： ( 4 ) 如果信号s 是一个固定的零均值a r m a 模型，那么对每一个小波分解尺度 j ，c ( 工后) 也是固定的零均值a r m a 模型，且其特性取决于尺度j ( 5 ) 如果信号s 是一个