（光学专业论文）基于自适应神经网络的信号处理.pdf

摘要 人工神经网络在信号处理方面得到了广泛应用。本文主要研究了人工神经网 络的结构优化和样本信息的选择问题，并将优化后的神经网络应用到非线性时问 序列信号预测和荧光光谱的识别中。在构建人工神经网络模型过程中，选择什么 样的学习算法以及如何寻找最佳的网络结构一直是决定网络性能优劣的关键所 在。特别是网络拓扑结构的选择非常重要，不恰当的结构或导致推广能力很差一 一对于没有训练学习过的模式没有好的预测精度或高的正确识别率，或导致训练 学习过程中收敛速度很慢甚至可能无法收敛。样本中的冗余信息会影响人工神经 网络较精确表示网络输入和输出问的映射关系。在学习算法上，我们选择了递归 最小方差( r l s ：r e c u r s i v el e a s ts q u a r e ) ，与其他算法相比，该算法中需要调节 的参数较少，使得它的学习更为容易，而且，由于r l s 算法能够自动估算出互 连权值调节的最佳步长值，所以神经网络的收敛速度和效率都有了较大提高。在 网络规模大小的选择方面，我们引入了互连权值删剪算法，在网络学习训练后， 分别对网络中间层单元和输入层单元进行删剪优化。对输入层单元的删剪，即是 对网络输入样本中的冗余信息分量进行删除。这种在网络学习训练过程中a p n 画 网络输入和输出之问的函数关系过程中，由与输出方差有关的能量函数来删除输 入样本的冗余信息的方法，与在网络学习训练之前通过其他的数据压缩方法或特 征提取方法相比，该方法在预测精度和正确识别率上更有效，本文将这种基于自 适应训练及删剪算法的神经网络分别应用在非线性时问序列信号( 如：股票价格 指数、可变比特率视频量) 的预测和非线性荧光光谱识别中。通过实验结果可以 看出，删剪优化后的网络的预测均方误差的数量级为l o 一，而且比未删剪时的预 测性能还要好；对于信号识别，删剪优化后的正确识别率依然是1 0 0 。；实验表 明基于删剪算法的优化网络不但降低了网络的计算复杂度，而且提高了预测精度 或正确识别率。该方法因其快的收敛速度可以用来实时信号处理。 关键词：人工神经网络，递归最小方差，删剪算法，信号处理 a b s t r a o t a r t i f i c i a ln e u r a ln e t w o r ki su s e dw i d e l yi nt h es i g n a lp r o c e s s i n g t h i st h e s i s w i l lh a v em a i n l ys t u d i e dt h eq u e s t i o n so ft h ea r t i f l d a ln e u r a ln e t w o r ks t r u c t u r e o p t i m i z a t i o na n dt h es a m p l ei n f o r m a t i o nc h o i c e n eo p t i m i z e dn e u r a ln e t w o r k s a r ea p p l i e dt of o r e c a s tt h en o n l i n e a rt i m es e r i e ss i g n a la n dt or e c o g n i z et h e f l u o r e s c e n c es p e c t r u m i nt h ep r o c e s so fc o n s t r u c t i n gt h ea r t i f i c i a ln e u r a ln e t w o r k m o d e l ，h o wt oc h o o s et h es t u d ya l g o r i t h ma sw e l la st os e e kt h eb e s tn e t w o r k a r c h i t e c t u r ei s a l w a y sak e yt od e c i d et h en e t w o r k sp e r f o r m a n c e i ti sv e r y i m p o r t a n tt oc h o i c eo f t h en e t w o r kt o p o l o g ya r c h i t e c t u r e t h ei n a p p r o p r i a t es t r u c t u r e m a yc a u s et h ep o o rg e n e r a l i z a t i o na b i l i t ya n ds l o wt h ec o n v e r g e n c er a t eo rn o n c o n v e r g e n c e 1 1 1 er e d u n d a n ti n f o r m a t i o no ft h es a m p l e ， w h i c ha f f e c t st h ec o r r e c t i n p u t o u t p u tm a p p i n go ft h en e u r a ln e t w o r k i sd e l e t e d t h er e c u r s i v el e a s t s q u a r e ( r l s ) i sc h o s e nt oa d j u s tt h ei n t e r c o n n e c t i o nw e i g h t s c o m p a r e dw i t ho t h e r a l g o r i t h m s ，t h er l sa l g o r i t h mn o to n l yi se a s i e rt ot r a i na n e t w o r kb e c a u s ei th a s l e s sp a r a m e t e r sb u ta l s oh a sf a s t e rc o n v e r g e n c er a t eb e c a u s ei ta u t o m a t i c a l l yh a st h e o p t i m a lt r a i n i n g s t r i d ev a l u e s i no r d e rt o o p t i m i z e t h en e t w o r k st o p o l o g y a r c h i t e c t u r e , w ei n t r o d u c et h ep r u n i n ga l g o r i t h mi n t ot h en e t w o r k i tc a np r u n et h e n e u r o n sn o to n l yi nt h em i d d l el a y e rb u ta l s oi nt h ei n p u tl a y e rb yp r o p o s e dan e w e n e r g yf u n c t i o n p r u n i n gt h en e u r o n so ft h ei n p u tl a y e rm e a n st h a tt h er e d u n d a n t c o m p o n e n to ft h ei n p u ts a m p l ei sm o v e d c o m p a r i n go t h e rd a t ac o m p r e s s i o no r f e a t u r ee x t r a c t i o nm e t h o d s ，t h i sm e t h o di sm o r ee f f e c t i v ef o ri m p r o v i n gt h e p r e d i c t i o na c c u r a c yo rc o r r e c tr e c o g n i t i o nr a t eb e c a u s et h en e u r a lp r u n i n gi sr e l a t i v e t ot h eo u t p u te r r o r t h en e u r a ln e t w o r km o d e l sb a s e do nt h ea d a p t i v er l sl e a r n i n g a n dp r u n i n ga l g o r i t h ma r eu s e dt of o r e c a s tn o n l i n e a rt i m es e r i e ss i g n a l s ，s u c ha s s t o c ki n d e x e sa n dv a r i a b l eb i tr a t ev i d e ot r a f f i c ，a n dr e c o g n i z en o n l i n e a r f l u o r e s c e n c es p e c t r u mo fe t h y l e n e 1 1 1 ec o m p u t e rs i m u l a t i o n sh a v ed o n e t h em e a n s q u a r ee r r o ro ft h eo p t i m i z e dn e t w o r ki su pt oa b o u t l 0 5 f o rf o r e c a s t i n gn o n l i n e a r t i m es e r i e ss i g n a l s t h ec o r r e c tr e c o g n i t i o nr a t eo f t h ep r o p o s e dm o d e li su pt o1 0 0 f o rr e c o g n i z i n gn o n l i n e a rf l u o r e s c e n c es p e c t r u m 孔ee x p e r i m e n t a lr e s u l t ss h o w t h a to p t i m a ln e t w o r kb a s e do nt h ep r u n i n ga l g o r i t h mn o to n l yn o to n l yr e d u c et h e c a l c u l a t i n gc o m p l e x i t yg r e a t l y , b u ta l s oi m p r o v et h ep r e d i c t i o na c c u r a c yo rc o r r e c t h r e c o g n i t i o nr a t e t h ep r e s e n t e dm e t h o dc a n b eu s e dt op r o c e s sr e a l t i m et h es i g n a l s b e c a u s eo f i t sf a s t e rc o n v e r g e n c er a t e k e y w o r d s ：a r t i f i c i a ln e u r a ln e t w o r k ，r e c u r s i v el e a s ts q u a r e ，p r u n i n g a l g o r i t h m ，s i g n a lp r o c e s s i n g l 第一章绪论 第一章绪论 第一节引言 人工神经网络( 也称为神经网络) 是一种仿大脑信息处理模型，是由大量 简单单元神经元相互连接而成的自适应非线性动态系统。具有很强的非线 性概括能力，以及自组织自适应，高的容错性等优点。它在两个方面与人的大 脑相似：( 1 ) 神经网络的获取的知识是从外界环境中得来的；( 2 ) 互联神经元 的连接强度，用于储存获取的知识。神经网络获取外界环境知识是通过学习 过程来实现的，在信息处理能力方面它有以下几个突出的特点：( 1 ) 大规模并 行分布式处理信息的能力；( 2 ) 学习能力以及由此而来的泛化能力。泛化是指神 经网络对测试数据( 未学习训练过的数据) 可以产生合理的输出；( 3 ) 输入和 输出非线性映射能力。网络在有导师学习过程中，不断地调整自身的互连权重， 以使期望相应和实际相应之间的差别最小化，从而实现输入和输出的函数关系， 特别是对于一些非线性的动态系统，由于系统的输出和输入之问的函数关系很 难用一个精确的数学表达式来描述，因此利用神经网络来解决一些非线性动态 系统问题能够收到很好的效果；( 4 ) 适应性。神经网络具有通过调整自身的互 连权重来适应外界变化的能力；等等。基于上述特点，神经网络在模式识别、 信号处理、控制和预测等领域有着广泛的应用。 神经网络在网络结构上大致可分为前馈型结构和反馈型结构。不同的结构 又有着适合自身结构的学习算法，常见的前馈型网络有单层感知机 ( p e r c e p t r o n ) 2 棚，多层感知机( m u l f i l a y c r p e r c e p t r o n s ：m l p s ) 【4 】，误差反向传播 ( b p ) 神经网络，径向基函数( r a d i a lb a s i sf u n c t i o n ：r b f ) 5 - 6 1 ，支持向量机 ( s u p p o r tv e c t o rm a c h i n e ：s v m ) 7 - s 等。常见的反馈型网络有h o p f i d d 网络， w t a 网络( w i n n e r t a k e a l l ：w t a ) 即胜者全取，元胞自动机( c d l u l a r a u t o m a t a ) ， 波尔兹曼神经网络( b o l t z m a n ) 等。因此在利用神经网络解决实际问题时，我 们将不得不面对结构的选择，规模的界定，算法的选取以及学习训练样本的选 择等问题，其中还有一个重要的问题就是样本中有用信息分量的筛选。 面对纷繁芜杂的输入样本，网络难免会接受一些相对次要的甚至冗余信息， 第一章绪论 这些信息往往会影响神经网络对系统输入和输出关系的刻画。因此研究人员首 要的工作就是要千方百计地将这些不良信息除掉，即对输入模式进行预处理， 用来进行信号预处理的方法很多，诸如小波变换伽，主成分分析，粗糙集理论 等等，然而在这取其精华剔其糟粕的过程中，无形地破坏了信息的本来面目。 既然要用神经网络来学习，就应该给它一个完整的信息体，输入样本中哪些分 量信息是重要的，哪些是不重要的，经过神经网络的学习认知后就会体现出来。 神经元之间连接关系的强弱可以通过互连权重的大小来体现，当利用神经网络 来模拟一个系统的时候，携有重要信息的输入分量，在刻画网络输出和输入关 系的过程中扮演着越来越重要的角色，与其对应的输入神经元与其它神经元的 连接也越来越密切。反观那些冗余的样本信息在这过程中角色越来越小，与其 对应的输入神经元与其它神经元的连接也越来越弱。在网络学习收敛后，与那 些携有重要信息分量对应的神经元相连接的互连权重要大，相反地，与那些冗 余信息分量对应的神经元相连接的互连权重就小。所以说神经网络在学习的过 程中，自身就能够将冗余信息分析出来，这时候再将那些冗余的信息删除掉， 要比在网络学习之前利用数据压缩的方法删剪信息更有说服力。基于上述思想， 本文在利用一个三层前馈型神经网络进行信号预测和识别的过程中，引入互连 权重删剪算法“”，分别对学习后的神经网络中间层冗余神经元和输入层冗余神 经元进行删减，对中间层冗余神经元的删减目的是对网络进行优化，以使网络 有更好的推广能力，对输入层冗余神经元的删减既是对网络的优化，也是对输 入样本信息分量的筛选。通过计算机模拟结果可以看出，在推广能力上，删剪 后的网络要优于未删剪时的网络。这说明互连权重删剪的引入，能够很好的将 冗余的神经元删剪掉，降低了网络的v c 维数，提高了网络对测试样本的预测或 识别能力，同时网络的计算复杂度也随之降低很多，提高了网络的在线学习和 预测识别速度，使得网络能够满足实时处理信号的要求。本文所作研究工作是： 将基于自适应训练及删剪算法的神经网络应用于时问序列预测和非线性荧光光 谱识别，下面将分别说明之。 第二节基于神经网络的时间序列预测 时间序列“”是一种有序数据的集合。一般认为，在时间序列的过去值和未 第一章绪论 来值之问存在着某种数学关系。时问序列的预测就是根据该时问序列的过去值 和现在值，对其未来值作性质上的推断或数量上的估计。近年来，时间序列预 测的应用研究出现在许多领域，有的是确定型的时间序列预测，有的则是对随 机型的时间序列进行预测。对于前者我们可以用一个确定的时间函数 y ：f ( t )来拟合时自j 序列，进而获得过去值和未来值之间的确切函数关系。 但是对于随机型的时间序列，就很难理出过去值和未来值的数学关系，特别是 一些具有时变性、突发性的非线性动态系统，比如股票价格指数的变化，视频 通信量的变化等，由于促使这种非线性变化的因素很多，也很复杂，所以很难 用一个精确的数学表达式来跟踪描述这种变化。 按照网络结构的不同，神经网络主要可以分为两大类：前馈型神经网络和 反馈型神经网络。研究表明，如果选择合适的网络结构，一个两层的前馈神经 网络的输入输出可以逼近任意形式的非线性映射，因此网络可以通过对已知的 n 时刻以前的部分时间序列 x ( n p ) ，x ( n - p - 1 ) ，x ( n 一2 ) ，x ( n - 1 ) ) 的学习和训 练来逼近一个复杂时间序列y ( n ) = f i x ( n - 1 ) ，x ( n - 2 ) ，x ( n - p ) ) ，即预测n 时刻 的序列值x ( n 产“n ) + ，为预测误差，越小，网络的对此非线性时间序列的逼 近性越好，也即寻找过去值和未来值之间的非线性关系，x ( n ) ：f t x t n 1 ) ，x ( n 2 ) ， ，x ( n - p ) ) - 卜，可见这种学习和认知是网络通过一定得学习算法不断修改神经 元之问的互连权重使网络达到最佳拟合来实现的，因此可以不必写出非线性时 间序列中过去值和未来值之间精确的数学表达式。由于神经网络的这种学习、 自适应和非线性概括能力，近年来，研究人员在利用神经网络进行非线性时间 序列预测方面做了大量研究，并且取得了很好的效果。本文进行时间序列预测 的对象是股票价格指数和可变比特率视频量。 神经网络作为一种有效的预测手段，很早便被应用于金融价格、外汇市 场以及其他金融市场价格的预测中 1 2 】。尤其是最近l o 年来的研究，显示出了 其巨大的能力。1 9 9 1 年y o o n 和s w a l e 采用一个9 - 2 - 4 结构的神经网络对标准 普尔5 0 0 指数的价格进行预测，结果表明预测效果优于传统的多元判别分析【1 3 1 。 w e i g e n d 等人应用神经网络预测外汇汇率揭示出汇率的变化具有一定的非线性 规律，并不是完全随机的1 1 4 】。后来，s h a z l ye l 利用一个4 - 1 0 - 1 结构的三层 网络对外汇汇率的研究表明神经网络的预测能力优于传统的经济计量模型与随 第一章绪论 机游走模型f “1 。z a r e m b a 利用2 0 - 4 1 1 结构的三层前馈网络对美国国债和黄金 期货价格进行预测，结果表明神经网络模型优于传统的线性模型【l “。一些更新 的模型也得到了应用，a n d r e wb a c k 首先使用独立成分分析( i c a ) 对同本东京 股票市场股价的时间序列进行了分析，表明该方法在揭发股价运动机制上优于 传统的主成分分析【”。c h e n g y i u m i n g 提出了在经济序列分析中确定独立成分 顺序的方法1 1 8 l ，e r k k io j a 等人则对i c a 在经济上面的应用作了总结【。s w a m p w a n d a l 为公司经营的健康状态建立了神经网络模型1 2 0 ，y a n g 利用支持向量机 的分类功能对英国2 4 0 8 家公司的经营业绩进行了研究和预测【2 1 】。神经随着神 经网络模型研究的不断深入，其在经济领域中的应用必然会更加广泛。 2 2 1 可变比特率( v a r i a b l eb i tr a t e ，v b r ) 视频通信量时问序列也是一个复 杂的非平稳随机过程，为寻找描述该随机过程的数学模型，人们已经做了大量 工作【2 4 1 2 5 1 。其中不乏利用各种神经网络模型用于v b r 通信量的研究。文酬2 6 1 采用了适合于非线性时间序列预测的t d n n 模型。文献2 7 1 采用的管线循环神经 网络( p r n n ：p i p e l i n er e c u r r e n tn e u r a ln e t w o r k ) 实施循环的学习算法来修改 互连权重。 在这些研究中，有大多数神经网络规模的大小都是根据研究人员的已有经 验来设定的，这就需要不断的去试探去摸索。网络规模过大时，虽然收敛速度 快，但推广能力差；规模过小，就有可能无法收敛。解决这一问题的有效方法 就是互连权重删剪法，虽然这不是一个放之四海而皆准的公认理论，但是在某些 情况下它还是很有效的。神经网络学习算法的选取也是很重要的一环，每种算 法都有它长处和缺点，这就需要根据实际应用选取恰当的学习算法，以便使得 研究结果更为准确。为了将记忆( 时间) 引入网络，它将输入的p 阶延迟共同 作为网络的输入，即x ( n ) = 【j ( n ) ，n - 1 ) ，x ( n - p ) 】，而网络的输出即为预测 值k ( n + 1 ) 。至于阶数p 的选择，它涉及了非线性时间序列相空间重构的问题i 捌。 本文利用一个三层前馈型神经网络对非线性时间序列进行预测，选用递归最小 方差( r l s ：r e c u r s i v el e a s ts q u a r e ) 的学习算法，而且引入互连权重删剪算法来优 化网络，并且在这方面做了一些改进删剪输入层，在网络学习过程中，对 输入单元的删剪意味着将输入样本中冗余信息分量删除掉，从预测的结果来看： 第一章绪论 我们选择的学习算法要优于其它学习算法；对于同一网络，删剪算法的引入也 优于未删剪时的预测结果。这表明我们选择的网络模型在非线性时间序列预测 方面是很有生命力的，同时实验结果反过来也验证了我们在算法选择、网络模 型的建立以及删剪算法的引入是正确的。 第三节基于神经网络的非线性荧光光谱识别 如何实时监控大气的污染程度，已经成为科学工作者的研究热点。目前， 监测大气污染的方法很多，但都要求先取样后分析，因而不具有实时性。物质 的荧光光谱取决于物质的原子分子结构，不同的物质具有不同的荧光光谱。非 线性荧光光谱是利用大功率超短激光脉冲和气体的非线性作用得到的。超短脉 冲激光在大气中的传输出现的非线性光学自聚焦和超辐射现象，由于气体分子 与强光光场的非线性作用，使大部分气体分子击碎分裂和发生电离，从而发射 不同特征的非线性荧光光谱。这种非线性荧光光谱与超短脉冲的波长以及强度 无关，只与气体的分子原子结构有关，对于混合气体，则与其组成成( 包括浓 度的不同) 有关，因而可以用来进行混合气体成分识别或者检测大气的污染成 份。但是这些光谱的产生涉及的非线性效应较多，多数气体分子的非线性光谱 参量尚属未知。而且大气中污染气体的含量较低并且种类较多，他们的非线性 荧光光谱会出现交叠现象，使得通过直接寻找某种污染气体的特征光谱来分析 气体成分变得非常困难。 神经网络的可学习性和推广能力强的特点，使它有潜力成为复杂光谱分析 的有力工具。非线性荧光光谱的神经网络分析方面已经有了初步研列2 9 1 ，并且 取得了较好的识别效果。由于实验得到的非线性应光谱含有大量的冗余信息， 许多无关的信息进入模型中，不仅使得识别率下降而且会使模型精度和稳定性 变坏，所以对输入信息的删剪和提取显得非常重要。文章1 3 0 墚用小波多尺度分 析对非线性荧光光谱进行特征信息提取，文章【9 】采用小波变换和主成分分析的 方法除去冗余信息。本文在进行识别的过程中采用与输出直接有关的自删减方 法对冗余信息进行了剔除，只不过是在网络学习训练过程结束后，利用互连权 重删剪算法来对连接输入层单元到中问层的单元互连权重进行排序删剪，在利 用删剪后的网络进行气体的识别，从实验结果可以看出，优化后的网络模型的 第一章绪论 气体识别率依然是1 0 0 ，而且网络的计算复杂度大大降低。 第四节本论文研究内容及其章节安排 1 第一章绪论 2 第二章是人工神经网络的介绍，在这一章。f i - 先简要介绍神经网络的基本知 识、基本原理。 3 第三章是自适应人工神经网络，这一章首先r l s 算法及其步骤，然后介绍 删剪算法一一删剪中问层和删剪输入层 4 第四章是基于神经网络的时间序列预测，这一章首先是利用r l s 算阿及删 剪算法对股指的预测，然后是对v b r 视频通信量的预测。 5 第五章是基于神经网络的非线性荧光光谱识别。 第一二章人t 神鲐网络 第二章人工神经网络 第一节人工神经网络概述 人工神经网络( 或称为神经网络) 是由大量的简单计算单元( 亦称神经元) 相互连接而构成的非线性信息处理系统，它是一种植根于许多学科的技术，它 涉及到神经科学、数学、统计学、物理学、计算机科学和工程学，有着非常广 泛的应用背景，这门学科的发展对未来的科学技术发展将有重要的影响”。 它在一定程度和层次上模仿了人脑神经系统的信息处理、存储及检索功能， 是对人脑的抽象、简化和模拟，反映了人脑的许多基本特征。所以人工神经网 络基本出发点就是模拟人脑，它的研究从一开始就是借助于神经元的生理结构 模型，因此我们有必要先介绍一下作为人脑基本组成单元的生物神经元的结构。 2 1 1 生物神经元结构 神经元( n e u r o n ) 是神经系统的基本单位，图1 1 为神经元的基本结构。 图2 1 神经元基本结构【3 l 】 图中主要组成简介： 1 神经元胞体是整个神经元的主体，相当于一个信息处理器，对来自于其它 神经元的信号求和，并产生神经脉冲信号； 2 树突感受( ：图中未标出，是调节神经元之间相互作用的基本结构和功能 第一二章人工种绛喇络 单位) 传来的信息，并将响应传向神经元胞体； 3 轴突输出神经元胞体产生的神经脉冲信号。末端形成很多分歧( 神经末梢) ， 每条神经末梢与其它神经元通过相连并传递信号。 脑神经生物科学研究结果表明，每个人的大脑中含有1 0 ”1 0 砼个神经元， 每个神经元又约束1 0 3 1 0 4 个。神经元通过形成的网络，传递神经元之问的兴 奋与抑制。大脑的全部神经元构成极其复杂的拓扑网络群体，用于实现记忆与 思维1 3 8 1 。 2 1 2 人工神经元的模型 人工神经元是对大脑神经细胞的模拟和近似，是人工神经网络操作的基本 信息处理单位。图2 2 显示的即是人工神经元的模型，它是人工神经网络的设 计基础。 x l 输 入却 信 号 互连权重 图2 2 人工神经元的非线性模型【l l 输出胁 图2 2 中主要部分说明： 1 或连接权每一个都以其权值或强度作为特征。互连权重。的意义是连到神 经元k 的研上的输入信号所对应的激活强度；与人脑神经元不同的是，人 工神经元的取值可在负值与正值之问 2 加法器用于求输入信号被神经元的相应加权的和。此操作构成一个线性组 合器： 3 激活函数贝) ，用来限制神经元输出振幅，将其压缩在一个允许的范围之 内，视其为有限值，通常神经元输出的扩充范围在【o ，1 】或者【1 ，1 n x e 问。 一般为非线性处理函数。 第一章人t 神纤州绵 由上我们可得出对神经元k 的方程描述式 y 。= 厂( 匕+ 钆) = ，( x j + b d ( 2 1 ) ，= l 其中x j ( j = l 2 ) 为神经元| 的输入信号。 v k 是由输入信号线性组合后的输 出，是神经元膏的净输入。为强度或连接权以表示神经元的阂值或称为偏 差。 需要特别指出的是，在人工神经元的理论模型中，常用的激活函数以) 的基 本形式为一些最简单的非线性函数，但随着研究的深入，也出现了一些稍微复 杂一点的激活函数形式。下面列举其中较常用的几个： 1 硬取阂函数( h a r dl i m i t e rf u n c t i o n ) ： m ，：c h a n g e 。1 1 蝥 眨：， l 一1 ， “ 0 这个函数也称为符号函数，用s g n ( u ) 表示。这里的u 是神经元从其他神经元得 到的激励或抑制的代数和，它决定了神经元下一个时刻的外部状态。有单取阂 函数和双取阈函数之分。 2 软取阈函数( s o f t l i m i t e r f u n c t i o n ) ：( 见图2 3 ) ，也叫s 形函数( s i g m o i d f u n c t i o n ) ，可用s i g m ( u ) 来表示，这是最常用的一个激活函数，分单极和双极两 种形式。 单极形式( 图2 4 ( a ) ) ： ( 甜) = i j 丢石 ( 2 3 ) 双极碱酏4 ：f ( u ) = t i t ( u 一= = 筹 ( 2 4 ) 1 + p 一嚣矿。托”。 式中，参数声称为s i g m o i d 函数的增益，其值决定了函数非饱和段的斜率，越 大，曲线越陡。式( 2 3 ) 的函数也成为单极性s i g m o i d 函数，式( 2 4 ) 的函 数也称为双极性s i g m o i d 函数或双曲正切函数。 第一章人丁神绛i 卅络 1“) l b 增加j j。向 - 弋 形 彳1 。5 0 i t “l l + 1 i 肛二。 ，么i r n “ 1 幽2 3s 形函数 m ，挖一苎， 亿5 ， 2 1 。3 神经网络的网络结构与类别 网络的拓扑结构是神经网络的一个重要特征，神经元之间的连接可以有任 意形式，但最常见的结构主要有两种：前馈型网络和反馈型网络( 也称递归网 络) 。图2 4 是神经网络的主要类别及其网络结构示意图。 圈 1 _ j国圈圆圜 图2 4 神经网络的类别和结构 第一二章人t 神经网络 l反馈型神经网络( f e e d b a c kn e u r a ln e t w o r k s ) 反馈型神经网络是指拓扑结构中有反馈的神经网络，这类神经网络的输出 都要通过某种途径反馈到它的输入端去。常见的反馈型网络有h o p f i e l d 网络， w t a 网络( w i n n e r t a k e a l l ：w t a ) b i 胜者全取，元胞自动机( c e l l u l a r a u t o m a t a ) ， 波尔兹曼神经网络( b o l t z m a n ) 等。其中最著名的一种反馈模型神经网络就是 h o p f i e l d 网络1 3 3 - 3 4 1 ，它是1 9 8 2 年美国加州理工学院( c a l i f o r n i ai n s t i t u t eo f t e c h n o l o g y ：c i t o r c a l t e c h ) 生物物理学教授j h o p f i e l d 首先提出并论证了这种 网络的动力学特点和重要应用，而得到广泛的重视和巨大的发展。这类神经网 络在实现联想存储器和全局并行寻优等方面有重要的应用。 2 前馈型网络( f e e d f o r w a r dn e u r a ln e t w o r k s ) 前馈型网络也称前向神经网络或多层前向网络。网络内神经元分层排列， 每一层的神经元之问无连接，仅层间神经元有连接，各神经元接收前一层的输 入信息，并将计算结果输出给下一层。除了输入层外，中间层和输出层都实现 一定的运算。常见的前馈型网络有单层感知机( p e r c e p t r o n ) 【 3 1 ，多层感知机 ( m u l t i l a y e rp e r c e p t r o n s ：m l p s ) 【4 】，误差反向传播( b p ) 神经网络，径向基函 ( r a d i a lb a s i sf u n c t i o n ：r b f ) t 5 - 6 ，支持向量机( s u p p o r tv e c t o rm a c h i n e ：s v m ) 7 - 8 1 等。 感知机( p c r c e p t r o n ) 是由一个输出神经元所组成的最简单的前馈型神经网。 其模型如图2 5 所示， x x 0 - 乞l x i y 图2 5 感知机模型 图中x 为输入矢量，x = k ，屯，r 而= 一1 是偏执分量w o 的输入端 第一二章人t 神绛i 卅络 口。为互连权重矢量，w = 【w l ，w 2 ，r 。y 是感知机的输出， y = i 兰i = lt 一w o = 玎委一)t = o 式中j r ( ) 为输出神经元的非线性激活函数，通常取符号函数s 印( ) 。 感知机对互连权重矢量的学习算法是基于迭代的思想，通常是采用纠错 学习规则的学习算法。 第二节多层前馈神经网络 由于感知机只能解决线性可分得分类问题，对于复杂的非线性问题显得无 能为力，多层前馈神经网络结构的出现，使得这一问题得到解决，而且在解决 其他问题上，多层前馈神经网络也有着很强的生命力，并将神经网络的研究推 向了新的高潮。多层前馈神经网络由输入层、中间层和输出层组成，中间层可 以是一层也可以是多层。层间的神经元前向连接，层问神经元之间通过权值的 大小来表征它们的连接强弱，层内的神经元之自j 没有连接。不同的模型可能采 用学习规则来对网络进行训练，即对互连权重进行调节得到最佳的互连权重。 以典型的前馈神经网络b p 为例说明前馈网络的工作原理，b p 算法的基本 思想是将b p 神经网络中的所有互连权重矩阵的元素都看作是造成输出方差f 的独立参数，并按照梯度下降法分别对它们进行逼近式的迭代调节。以具有一 个隐藏层为例，以j 表示输入层到隐藏层神经元之间的互连权重，锨 表示隐 藏层到输出层神经元之间的互连权重，则互连权重的调节为： 吨= 川筹，锚= 1 , 2 2 , ，- - - , ，m 眨e ， a v u = - - 口筹，篙= 1 , 2 , ，- - , ，m 5 亿z ， 只要寻求的解和方差善的梯度存在，也就是说多层前馈神经网络中神经元 激活函数是连续可微的，就可以求出上面两式中的偏微商，并保证输出方差f 随 着互连权重的调节而不断下降，直到满足学习目标为止。 第二章白适廊神经网络 第三章自适应人工神经网络 第一节三层前馈型神经网络结构 本文所用到的神经网络结构是一个前馈型的三层单输出的网络结构，近似 于多层前向感知机。其结构如图3 1 本文所用符号的含义定义如下：在t 时刻， 输入样本：x ( o = 阮，而，j 。r w l ，# ( f ) ：表示输入层第个神经元与中问层第j 个神经元之问的互连权重； w 2 ，( t ) ：表示中间层与输出神经元之间的互连权重 w = 【“) 7 ，( 厂r 是把所有互连权重排成一维矢量。 口：输出神经元的偏置； 中间层神经元采用的激活函数是可微的s i g m o i d 函数： 删= 瓦而1 ( 3 1 ) 式中玑是第i 个神经元的输入信号： 第= = 三章自适应神经网络 “，( f ) = ( w lf ( f ) z ( f ) ) 一口 ，= l ，是该神经元的输出信号。 输出层采用的激活函数是线性的激活函数： ，( f ) = ( 峨，( t ) x f ( t ) ) - o i 第二节递归最小方差学习算法 ( 3 2 ) ( 3 3 ) 用于完成神经网络的学习过程的程序成为学习算法，其功能是以有序的 方式改变网络的互连权重以获得想要的设计目标。在神经网络的应用中，可以 选择学习算法有很多，多数的研究集中在b p 算法 3 6 - 3 7 、径向基函数【3 8 。9 】、遗 传算法【小川j 、支持向量机( s v m ：s u p p o r tv e c t o rm a c h i n e ) 1 4 2 4 3 1 及其他们的改 进算法。这些算法存在着种种缺点和不足：b p 算法容易使网络学习陷入局部极 小点，而且学习步长以及在中间层的选择上有很大盲目性；径向基( r b f ：r a d i a l b a s i sf u n c t i o n ) 函数网络在如何选择最佳的中心矢量以及中心矢量的个数方面 存在困难，s v m 适宜于小样本的情况，但是它和r b f 一样还存在着核函数的 选择问题，选择什么样的核函数才最好，至今没有人研究；遗传算法虽然是全 局寻优，但是基于编码的遗传算法在进行编码时，容易造成编码急剧增大，导 致网络学习训练过程过长。本文选择的学习算法是递归最小方差算法，简称 r l s ( r e c u r s i v el e a s ts q u a r e ) 算法，与其他算法相比，该算法中需要调节的参数 较少，使得它的学习更为容易，而且，由于r l s 算法自动估算出互连权重调节 的最佳步长值，所以神经网络的收敛速度和效率都有了较大提高。 3 2 1r l s 自适应训练算法原理1 4 哪 r l s 算法源自于自适应滤波理论【4 5 1 ，在网络的迭代过程中，它使用指数 加权的误差平方和作为代价函数，即： j ( 胛) = 五“陆】2 j ；0 式中，加权因子0 五 o ，那么互连权重变化帚引起能量的变化 为： 衄：三尸( o o ) w ( 3 1 8 ) 互连权重w j 的重要性由下式计算： a e j = 昙【尸( o o ) 一l w ( o o ) ； ( 3 1 9 ) 其中w o o ) ，p ( o o ) 为网络收敛后的互连权重和协方差矩阵，【p ( m ) 一l 表示 p ( m ) 1 的第j 个对角元素。 基于以上公式，删剪过程如下： ( i ) 首先利用r l s 算法训练网络，得到收敛时的互连权重坝o o ) 、协方差矩 阵p ( o o ) 和能量e ，然后根据( 3 1 9 ) 式对所有互连权重的重要性进行估算，并按 其重要性从小到大进行排列，设排列的序号为扛i ，满足吒，劬 p ； 设呲= 胎1 嚣一 ，s 舢互一 到w 。的删剪所引起的能量变的衄5 ( i i d 如果a esa e ( 其中0 口 风) ，则 计算复杂度之比为( i h _ o ) 2 3 。2 。2 删剪输入层单元 如前所述，神经元之间连接关系的强弱可以通过互连权重的大小来体现， 当输入样本中含有冗余信息分量时，在网络学习过程中也即网络在刻画输出和 输入的关系过程中，与这些冗余信息分量对应的输入单元就会与其他神经元的 连接程度越来越弱，它们之间的互连权重相比较其他的连接互连权重要小很多。 如果将这些与其他神经元联系不紧密的输入单元删剪掉，相当于我们将输入样 本中的冗余信息删除掉。由于是网络在学习过程中，自身区分出来的输入样本 中哪些是有用信息分量，哪些是冗余信息分量，这要比在网络学习之前通过各 种算法删除输入样本的冗余信息更具有科学，更有利于网络的后续工作。因此 我们试着将输入单元与中间层之问的互连权重，按我们定义的能量函数进行大 小排序，并将前面几个能量比较小删除掉，通过我们后面的模拟实验的验证结 果可以看出，我们这种删除输入样本中冗余信息分量的方法是切实可行的，并 且通过对输入层单元的删剪，网络的结构进一步得到优化，计算复杂度进一步 降低。这也是本文的一个创新点所在。下面是我们的删减输入单元的方法和步 骤。 当网络收敛后，设输入层到中间层的互连权重为w l 搿设 el , i = ( w ) 2 ( 3 2 0 ) ，= i 行为中间层的个数。将得到一组能量的向量e = 【巨j ，蜀。，巨。】，i = 1 , 2 ，研 第二章白适应神经网络 m 为输入层的神经元数目。然后将巨，按从小到大的顺序排列，令 蛆= 巨， m ，( 1 t ) 且巨= e ， 扛l 如果满足屿e , = ( 0 1 ) ，我们就可以将膏个较小的局。删剪掉， 也即将前面的个较小的神经元删剪掉。这样经过对中间层以及输入层单元的 删剪，网络规模大大缩小，计算复杂度也降低很多，达到了优化网络结构的目 的，而删剪的依据则是上述删剪算法，因此这与盲目的选择网络结构以及利用 算法先对输入样本进行压缩相比，该方法更富有科学性和针对性。 第四章基丁神经网络的时间序列预测 第四章基于神经网络的时间序列预测 利用神经网络进行时间序列预测，是将时间序列的过去值作为网络的输入 样本，网络的输出则是时间序列的将来值。网络的输入和输出的函数关系为： j ( 以) = w 2 f ( w l s r x ( n - 1 ) ) - o ( 4 1 ) ， 式中x ( n 一1 ) ：是第n 一1 时刻的输入矢量 x ( n 一1 ) = 【砌一1 ) 一胛一动i f ( 4 2 ) 至于阶数p 的选择，它涉及了非线性时间序列相空自j 重构的问题2 钔。此时我们 选用的前馈型单输出的神经网络，在对时间序列进行预测时，可以将其称为时 间延迟神经网络( t i m e - d e l a yn e u r a ln e t w o r k ：t d n n ) 。其结构如图4 1 所示： x ( n 1 ) 图4 1 时间延迟神经网络( 1 r i ) n n ) 的网络结构模型 它是属于