（应用数学专业论文）基于神经网络模型的微悬臂梁力学特性研究.pdf

中北大学学位论文 基于神经网络模型的微悬臂梁力学特性研究 摘要 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是在人脑神经网络认知理 解的基础上人工构造的能够实现某种功能的神经网络。它具有生物神经网络的某些特征， 是一个信息处理系统。神经网络结构简单、能够大规模并行、容易用硬件实现，并且具 有学习和记忆能力、自适应和多样性等特性。本文将b p 网络算法应用在微悬臂梁力学 特性的研究中。 b p 网络算法广泛应用于非线性建模，模式识别、预测等方面。本文在m a t l a b 7 0 环境下，采用多尺度小波变换算法对实验所得微悬臂梁加载力、挠度的原始数据进行了 消噪预处理；建立了微悬臂梁力学特性研究的b p 神经网络模型；拟合、分析微悬臂梁 的力学实验数据，预测不同参数的微悬臂梁加载力一挠度关系。 另外，针对b p 网络收敛速度慢、易陷于极小点等缺点，改进了网络的初始值及网 络的训练算法，以保证网络稳定快速收敛。实验结果表明，在相同加载力的作用下挠度 随微悬臂梁长度的增大而增大，随其宽度的增大而减小；当挠度小于6 0 0 n m 时，加载力 一挠度呈线性关系且实验拟合结果与理论计算结果相一致；同时b p 神经网络能很好的 预测不同参数微悬臂梁加载力一挠度的关系，预测效果( 预测值与实际值的相关系数) 平均可达到0 9 9 7 以上。 实验结果充分肯定了人工神经网络在研究微悬臂梁力学特性中的适用性。 关键字：人工神经网络，微机电系统，微悬臂梁，多尺度小波变换 中北大学学位论文 s t u d y i n gt h em e c h a n i c a lp r o p e r t i e so fm i c r o c a n t i l e v e rb e a mb a s e d o nn e u r a ln e t w o r k a bs t r a c t a r t i f i c i a ln e u r a ln e t w o r ki sac o g n i t i v eu n d e r s t a n d i n go fh u m a nb r a i nn e t w o r k sb a s e do n a r t i f i c i a ls t r u c t u r e st oa c h i e v es o m ek i n do fn e u r a ln e t w o r kf u n c t i o n i ti sa ni n f c i r m a t i o n p r o c e s s i n gs y s t e mt h a th a sc e r t a i np e r f o r m a n c ec h a r a c t e r i s t i c si nc o m m o nw i t hb i o l o g i c a l n e u r a ln e t w o r k s n e u r a ln e t w o r kp o s s e s s e sm a n yo fa d v a n t a g e s ：s i m p l es t r u c t u r e ，e a s y i m p l e m e n t a t i o ni nh a r d w a r e ，t h eb a s i cp a r a l l e lc o m p u t a t i o n a la r c h i t e c t u r e ，a n dt h em o d e lh a s f e a t u r e so fs t u d y , m e m o r y , s e l fa d a p t i n ga n dd i v e r s i t y i nt h i sp a p e r , w es t u d yt h em e c h a n i c a l p r o p e r t i e so fm i c r o c a n t i l e v e rb e a mb a s e do nb pn e t w o r ka l g o r i t h m b pn e t w o r ka l g o r i t h mi sw i d e l yu s e di nn o n l i n e a rm o d e l i n g ，p a t t e r nr e c o g n i t i o n ， p r e d i c t i o na n ds oo n a f t e rp r e - p r o c e s s i n go fe x p e r i m e n t a ld a t ao fm i c r o c a n t i l e v e rb e a ml o a d a n dd e f l e c t i o nb yw a v e l e tm u l t i s c a l ea n a l y s i s ，w ee s t a b l i s ht h eb pm o d e lo fs t u d y i n gt h e r e l a t i o n s h i po f l o a da n dd e f l e c t i o ni nt h ee n v i r o n m e n to f m a t l a b 7 0 t h e n ，w es i m u l a t ea n d p r e d i c tt h er e l a t i o n s h i po fl o a da n dd e f l e c t i o no fd i f f e r e n tp a r a m e t e r sm i c r o c a n t i l e v e rb e a m b ya n a l y z i n gt h ee x p e r i m e n t a ld a t a m o r e o v e r , s o m em o d i f i e db pa l g o r i t h m sa r ed i s c u s s e di no r d e rt o e l i m i n a t et h e d i s a d v a n t a g e so fs t a n d a r db a c k - p r o p a g a t i o na l g o r i t h m ，s u c ha ss l o w l yc o n v e r g e n c es p e e da n d c a t c h i n gi nam i n i m u mp o i n te a s i l y 1 1 1 ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ed e f l e c t i o n i n c r e a s e sw i t hi n c r e a s ei nt h eb e a ml e n g t hf o raf i x e db e a mw i d t ha n dt h i c k n e s s ，d e c r e a s e s w i t hi n c r e a s ei nt h eb e a mw i d t hf o raf i x e db e a ml e n g t ha n dt h i c k n e s s ，a n dw h e nd e f l e c t i o n s o fs p e c i m e n sa r ea b o u tl e s st h a n6 0 0 n m ，t h er e l a t i o n s h i po fl o a da n dd e f l e c t i o na r el i n e a r f o r l a r g e rd i s p l a c e m e n t s ，n o n l i n e a rt e r m sw i l la p p e a ri nt h ef o r c e d i s p l a c e m e n tr e l a t i o n s h i p a t t h es a m et i m e ，t h ea v e r a g ee f f e c to fp r e d i c t i o ni sm o r et h a no 9 9 7 t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea r t i f i c i a ln e u r a ln e t w o r ki se f f e c t i v ei ns t u d y i n g t h em e c h a n i c a lp r o p e r t i e so fm i c r o c a n t i l e v e rb e a m k e y w o r d s ：n e u r a ln e t w o r k ，m e m s ，m i c r o - c a n t i l e v e rb e a m ，w a v e l e tm u l t i - s c a l e a n a l y s i s i i 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名：二霍豪垮扛日期：二堡乒业 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包括： 学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可 以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允许学 位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位 论文；学校可以公布学位论文的全部或部分内容( 保密学位论文在解密 后遵守此规定) 。 签名：聿军j 虹日期：二堕季l 旦厶瞳_ 导师签名： 中北大学学位论文 1 1m e m s 的国内外研究现状 第一章绪论 微机电系统( m i c r o e l e c t r o m e c h a n i c a ls y s t e m ，m e m s ) ，通常是指通过微型化的器件 或器件组合，把电子功能与机械、光学或者其它功能相结合的综合集成系统。 m e m s 的研究始自2 0 世纪6 0 年代，是在微电子技术的基础上发展起来的。随着集 成度的提高，其加工尺寸越来越小，已进入亚微米时期。微电子技术的进步促进了微机 械技术的兴起和发展，微膜、微梁、微齿轮、微凸轮、微弹簧、微沟道、微喷嘴、微轴 承、微连杆等微型构件相继面世。微机械技术与微电子技术相结合，就形成了一代全新 的微机电系统，于是就有了各类微型传感器、微型执行器，如微米尺度的压力传感器、 加速度计、陀螺仪、各类阀门、泵、微电机和谐振器等【l 】。 m e m s 作为微米纳米科学与技术的一项主要研究内容，其目的在于开发物质潜在的 信息和结构潜力，使单位体积物质储存和处理信息的能力实现又一次飞跃，在信息、材 料、生物、医疗等方面将导致人类认识和改造世界能力的重大突破，从而给国民经济和 军事能力带来深远影响。因此，m e m s 技术从一开始就受到了美国、日本、俄罗斯和欧 洲各国的高度重视，纷纷投巨资加以研究。 1 9 6 2 年，第一个硅微压力传感器问世，其后开发出尺寸为5 0 - - 5 0 0 1 t m 的齿轮、气 动涡轮、联接件等微机构件【2 3 】。7 0 年代后，美国学者提出了基于硅半导体材料的微机 械的设想。1 9 8 8 年美国加州大学伯克利分校m u l l e r 研究小组发明了转子直径为6 0 - 一 1 0 0 p m 的硅静电电机，在当时引起很大轰动，它表明了应用硅微加工技术制造微小可动 结构的可行性，并与集成电路兼容制造微小系统的优势。同期，m i t 、b e r k e l y 、s t a n d f o r d 等大学和a t & t 及n s f 的1 5 名科学家向美国政府提出m e m s 研究建议。该项新技术 已受到世界许多工业国家的重视，纷纷投以巨资开展研究。日本通产省自1 9 9 1 年开始 了为期l o 年总投资2 5 0 0 亿日元的“微机械技术”研究开发计划。到1 9 9 3 年底，欧洲共 有8 所科研院校，2 3 个国家研究所，建立了3 1 个微系统研究小组。由于高强度的资金 支持，日本在一些m e m s 研究方面处于国际领先地位。如奥林帕斯公司研制的直径近 中北大学学位论文 l m m 、长度数厘米的柔性机器人，它将形状记忆合金s m a 、传感器及控制电路全部集 成到机器人体内，其末端能吊起l g 的重块并自由运动。2 0 0 2 年底，美国加州大学的科 学家们开发出一种由自旋蛋白质片段制成的可控纳米马达，宽度仅l l 纳米，加州大学 的蒙特马格诺说：“这种由天然蛋白质制成的马达，可在未来用于驱动药物进送系统等 纳米机构”。 我国在m e m s 方面的研究起步较晚，但现在已得到广泛重视。国家计委、科委、 国防科工委等均拨款支持高校和科研机构在m e m s 领域的研究。我国的清华大学、北 京大学、上海交通大学、中科院上海冶金研究所等几十所高校和研究所也于9 0 年代开 始了微机电系统的研究。展望2 l 世纪，我国的m e m s 不仅在科研水平上，而且在应用 领域也将与发达国家并驾齐驱【4 卅。 1 2 课题研究的目的和意义 微机电系统作为新型的多学科交叉领域，近年来得到了飞速发展【7 】。随着m e m s 工艺的发展和完善，用表面微机械加工技术和体硅加工工艺，已经做出了多种微型的机 械构件。但总的来说，m e m s 中所应用的结构可以分为3 类基本结构：微悬臂梁、微桥 和微薄膜。这3 种结构也是有着各自的主要应用领域。微悬臂梁是m e m s 器件中常见 的可动结构，广泛应用于r f 开关、光开关、谐振器、传感器等【8 j 。 微型机械所使用的材料以单晶硅及在其上形成的亚微米级、微米级厚的薄膜为主， 薄膜材料主要有单晶硅、多晶硅、氮化硅、二氧化硅以及各种金属，还有聚酰亚胺等高 分子材料，氧化等压电陶磁材料，钛镍合金等形状记忆合金材料等。这些材料通过化学 气相淀积、溅射、电镀、均胶等方法形成薄膜，再通过光刻、蚀刻、牺牲层腐蚀、体硅 腐蚀等形成各种形状，构成微型机构结构。硅类微薄膜材料的力学特性，如弹性模量、 残余应力、波松比、破坏韧性、疲劳强度等，是决定微型结构性能的重要参数，是微机 械设计中不可缺少的数据。由于i c 工艺的蓬勃发展，硅类微薄膜材料的电特性、化学 特性都得到了充分的了解，而力学特性方面的知识则比较匮乏，这已经成为微机电系统 c a d 发展一个很重要的制约因烈9 1 。 微薄膜与块材有着不同的力学特性，薄膜的力学特性与成膜装置、成膜条件及热处 理等后处理条件有着密节的关系，而且人们对微观条件下m e m s 构件的运动规律、物 2 中北大学学位论文 理特性和受载之下的力学行为尚缺乏充分的认识，只能靠传统方法进行试探性研究。已 有实验表明【l0 1 ，研究人员采用多种技术测定微构件的材料性能，但是，m e m s 材料力 学性能的研究远远不能满足人们的需要，这成为整个微电子机械系统进一步发展的“瓶 颈”，因此需要大量的研究以建立完善的基本数据库。本文主要采用b p 神经网络算法对 悬臂梁m e m s 微器件加载后载荷量( a n 载力) 与位移量( 挠度) 间的关系进行拟合，分析 以及预测。 1 3 神经网络技术的发展 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是对在脑神经网络认知理 解的基础上人工构造的能够实现某种功能的神经网络。人工神经网络技术作为人工智能 技术新手段，是目前国际上迅速发展的前沿研究方向之一。人工神经网络是用大量简单 的基本单元神经元广泛地互相连接而成的复杂的网络系统，反映了人脑功能的许多 基本特征，是对人脑神经系统的某种简化、抽象和模拟。 1 9 4 3 年，美国心理学家w s m c c u l l o c h 和数学家w a p i t t s 提出了一个非常简单的 神经元模型m p 模型。模型将神经元当作一个功能逻辑器件来对待，从而开创了神 经网络模型的理论研究。1 9 5 8 年，r o s e n b l a t t 在m p 模型的基础上，提出了感知器 ( p e r c e p t r o n ) 的概念，并第一次把神经网络的研究从纯理论的探讨付诸于工程实现。 感知器是第一个真正意义上的神经网络，包括了许多现代神经网络的基本原理，整个模 型的结构大体上符合神经生理学知识。r o s e n b l a t t 给出了两层感知器的收敛定理，并提 出了引入隐层处理单元的三层感知器。感知器模型的提出吸引了众多学者加入到神经网 络的研究中了。1 9 6 0 年，w i d r o w 等人提出了自适应线性元件( a d a l i n e ) 和被称为 w i d r o w h o f f 学习规则( 又称6 学习规则) 的神经网络训练方法，进一步推动了神经网 络的研究和发展，从而迎来了神经网络研究的第一个高潮。1 9 6 9 年，著名的人工智能 专家m i n s k y 和p a p e r t 出版了专著感知器书。他们指出，简单的线性感知器的功能 是有限的，它无法解决线性不可分的两类样本的分类问题，典型的例子如“异或”( x o r ) 运算。引入隐层神经元可能解决这类问题，但是对于多层网络，如何找到有效的训练算 法也是个难以解决的问题。因此，m i n s k y 断言感知器没有什么科学价值。这对当时的 神经网络研究无疑是一个沉重的打击。同时，二十世纪七十年代数值计算机正处于高速 3 中北大学学位论文 发展期，人工智能研究伴随着数值计算机的迅速发展取得了显著的成绩。而神经网络采 用几乎完全不同的工作方式，当时的技术水平无法为神经网络的实现和应用提供有效的 支持。种种原因使得整个七十年代神经网络的研究处于低潮。 在1 9 8 2 年，美国物理学家h o p f i e l d 提出了一种反馈神经网络，用于联想记忆和优 化计算。在h o p f i e l d 神经网络模型中，引入了能量函数的概念，通过其分析神经网络的 动力学性质，给出网络稳定的判断。1 9 8 4 年，h o p f i e l d 又提出了连续的h o p f i e l d 神经 网络模型，将神经元的响应函数由离散的二值改为连续的模拟值。h o p f i e l d 神经网络在 许多方面所显示出的巨大潜力重新燃起了人们对神经网络的希望，吸引了越来越多的人 投入到神经网络的研究中来，有力的推动了神经网络的研究。1 9 8 6 年r u m e l h a r t 和 m c c l e l l a n d 提出了多层网络的“误差反向传播算法( b p ) 9 9 ，成为当前应用最为广泛的神 经网络模型，它也使有导师学习的多层感知器模式分类器走向实用化。反向传播神经网 络( b a c k - p r o p a g a t i o n n e t w o r k ，简称b p 网络) 是对非线性可微分函数进行权值训练的 多层网络。b p 网络主要用于：函数逼近与预测分析；模式识别；分类；数据压缩。在 人工神经网络的实际应用中，8 0 9 0 的神经网络模型是采用b p 网络或它的变化形式， 它也是前向网络的核心部分，体现了人工神经网络最精华的部分【1 1 , 1 2 】。 现在神经网络的发展已经到了一个新时期，在限制性条件满足与最优化、数据压缩、 预测与危险判断、控制、内容可寻址存储、多传感器数据融合、模式识别以及诊断等许 多领域都有着广泛的应用前景，并且已取得了很多丰硕的成果。 1 4 本文主要内容与结构 第一章介绍了m e m s 的研究现状，本文研究微悬臂梁力学性质的目的和意义，总 结了神经网络技术的发展和现状。 第二章介绍了b p 神经网络算法的基本原理，针对其存在的一些限制和不足，提出 了几种改进的方法。同时，总结了b p 网络设计的基本步骤。本文采用b p 神经网络进 行微悬臂梁力学特性的研究。 第三章首先，介绍了微悬臂梁力学特性研究的理论依据。再次，详细介绍了基于 b p 神经网络的微悬臂梁力学性质研究模型的设计过程，如：数据的预处理，输入、输 4 中北大学学位论文 出向量的选择，隐含层神经元数目的确定，隐含层和输出层学习算法的选择，初始值的 改进，改进的b p 算法的选取，学习速率的确定，目标误差的选取等。最后，在所建立 的网络模型下，拟合、分析微悬臂梁的力学实验数据，研究在多大挠度下，加载力与挠 度呈线性关系及其与理论公式的符合程度。 第四章采用建立的网络模型预测相同参数、单一不同参数、多不同参数的微悬臂 梁加载力一挠度关系，分析建立的网络模型在研究微悬臂梁力学特性中的适用性。 1 5 本文的创新点 1 本文将人工神经网络算法应用到m e m s 微器件的力学特性研究中。 2 由于微悬臂梁力学实验数据在测量中受到诸多因素的影响，存在着一定的噪声， 本文提出了多尺度小波变换消噪的算法，对数据进行预处理。 3 建立了适合于研究微悬臂梁力学性质的b p 神经网络模型，其中，优化了网络的 初始权值、确定了隐含层的神经元数目为3 0 ，这样既保证了网络能够较好的学习微悬臂 梁的加载力一挠度关系，又能较理想的预测不同参数的微悬臂梁加载力一挠度关系。 5 中北大学学位论文 第二章b p 网络研究及其改进 人工神经网络是一个由大量结构简单的处理单元，即神经元，通过广泛的连接而形 成的神经系统。通过大量神经元的并行计算和分布存储，神经网络具有很强的计算能力 和存储能力，因此神经网络是一种基于大规模并行的分布式处理系统【l3 1 。神经网络在两 方面与大脑相似： 1 神经网络获取的知识是从外界环境中学习得来的。 2 互连神经元的连接强度，即突触权值，用于存储获取的知识。 2 1 神经元 神经元是神经网络操作的基本信息处理单元。图2 1 表示神经元的模型，它是神经 网络的设计基础。下面给出神经元模型的三种基本元素： 1 突触或连接链，每一个都由其权值或者强度作为特征。神经元k 的突触，上的 输入信号x ，被乘以k 的突触权值。注意突触权值的下标的写法很重要。第一个 下标指查询神经元，第二个下标指权值所在的突触的输入端。人工神经元的突触权值有 一个范围，可以取正值也可以取负值。 2 加法器，用于求输入信号被神经元的相应突触加权的和。这个操作构成一个线 性组合器。 3 激活函数，用来限制神经元输出振幅。激活函数也称为压制函数，由于它将输 出信号压制( 限制) 到允许范围之内的一定值。通常，一个神经元输出的正常幅度范围 可写成单位闭区间 0 ，1 】或者另一种区间 - 1 ，+ 1 1 。 图2 1 的神经元模型也包括了一个外部偏置，记为阮。偏置的作用是根据其为正或 为负，相应地增加或降低激活函数的网络输入。 6 中北大学学位论文 输入 信号 偏置 仇 激活函数 突触权值 图2 1 神经元的非线性模型 用数学术语，我们可以用如下一对方程描述一个神经元k ： m “t = w 材石， y k = 缈似t + b k ) 输出 y t ( 2 1 ) ( 2 2 ) 其中x l ，x 2 ，是输入信号，w k 。，w k 2 ，是神经元k 的突触权值，u k 是输入信 号的线性组合器的输出，偏置为钆，激活函数为缈( ) ，y 。是神经元输出信号。偏置以的 作用是对图2 1 模型中的线性组合器的输出作映射变换： v t 2 u t + b k ( 2 3 ) 激活函数缈( ) 通常一般是非线性函数，常见的有阶跃激活函数、线性激活函数和s 型激活函数几种形式。 s 型激活函数的图形是s 形曲线，在构造人工神经网络中是常用的激活函数。它是 严格的递增函数，在线性与非线性之间显现出较好的平衡。此种激活函数常用对数或双 曲正切等一类s 形状的曲线来表示。双曲正切s 型函数，定义如下： t a n a g ( x ) = 百l _ e 万- 。 另一种是对数s 型，即l o g i s t i c 函数，定义如下： 7 ( 2 4 ) 中北大学学位论文 l o g s i g ( x ) = 丽1 ( 2 5 ) t a n s i g i 函数将神经元的输入范围( ，佃) 映射到( 一1 ，1 ) ，它是可微函数。l o g s i g i 函数 是将神经元的输入范围( 一0 0 ，+ o o ) 映射到( o ， ， j ji 一纩 么二一一 。 一l 1 ) ，它也是可微函数。见图2 2 所示。 彳 jl l 乏= ：一 一一一二夕 o 一 - 。1 。1 。 图2 2t a n s i g 和l o g s i g 的函数图像 根据神经元在神经网络中所处位置和功能的不同，神经元又可以分为三种类型：输 入神经元、输出神经元和隐含层神经元。输入神经元接受外部信息，输出神经元则向外 部输出信息。这两种神经元是神经元与外部环境交换信息的通道，是神经元的重要组成 部分。隐含层神经元则处于神经网络内部，不与外部环境产生直接联系。隐含层神经元 只接受其它神经元的输出作为输入，产生的输出只作用于神经网络中神经元。在早期一 些简单的神经网络中，只有输入、输出神经元，而没有隐含层神经元，这种结构的网络 计算能力有限，无法实现一些复杂的函数映射。隐含层神经元的出现，提高了神经网络 的能力，在神经网络中起着极为重要的作用。这三类神经元互相连接，构成了一个功能 完整的神经网络【1 4 1 。 2 2b p 神经网络 神经网络中神经元之间的连接方式反映了神经元之间的拓扑结构，它决定着神经元 的性质和处理信息的能力。按照连接模式，神经网络模型可以分为前向式神经网络和反 馈式神经网络，本文采用的b p 网络就是前向式神经网络的一种。 反向传播神经网络( b a c k - p r o p a g a t i o nn e t w o r k ，简称b p 网络) 是对非线性可微分 函数进行权值训练的多层网络。 b p 网络主要用于： 8 中北大学学位论文 1 ) 函数逼近与预测分析：用输入矢量和相应的输出矢量训练一个网络，逼近一个 函数或预测未知信息； 2 ) 模式识别：用一个特定的输出矢量将它与输入矢量联系起来； 3 ) 分类：把输入矢量以所定义的合适方式进行分类； 4 ) 数据压缩：减少输出矢量维数以便于传输与存储。 在人工神经网络的实际应用中，8 0 - 9 0 的神经网络模型是采用b p 网络或它的变 化形式，它也是前向网络的核心部分，体现了人工神经网络最精华的部分。 2 2 1b p 神经网络模型与结构 1 9 8 6 年r u m e l h a r t ，h i n t o na n dw i l l i a m s 1 5 1 报告了反向传播算法的发展。一个具有，1 个输入、一个隐含层和一个输出的神经网络模型结构如图2 3 所示。 输入层隐含层 y 2 k 图2 3 具有一个隐含层和输出层的b p 神经网络模型 b p 网络的激活函数必须是处处可微的，所以它就不能采用二值型的阈值函数 o ， 1 ) 或符号函数 一1 ，1 ) ，b p 网络经常使用的是s i g m o i d 函数和线性函数。 从图2 2 所示的s i g m o i d 型激活函数图形可以看到妒( ) 是一个连续可微的函数，其 一阶导数存在。对于多层网络，这种激活函数所划分的区域不再是线性划分，而是由一 个非线性的超平面组成的区域。它是比较柔和、光滑的任意界面，因而它的分类比线性 划分精确、合理，这种网络的容错性较好，另外一个重要的特点是由于激活函数是连续 可微的，它可以严格利用梯度法进行推算，它的权值修正的解析式十分明确，其算法被 称为反向传播算法，也简称b p 算法。 9 中北大学学位论文 因为s i g m o i d 型激活函数具有非线性放大系统功能，它可以将输入从负无穷大到正 无穷大的信号，变换成0 到1 或1 到1 之间的输出，对较大的输入信号，放大系数较小； 而对较小的输入信号放大系数较大，所以采用s i g m o i d 型激活函数可以去处理和逼近非 线性的输入输出关系。不过，如果在输出层采用s i g m o i d 型激活函数，输出则被限制在 一个很小的范围内，若采用线性激活函数，则可使网络输出任意值。所以只有当希望对 网络的输出进行限制，如限制在0 和l 之间，那么在输出层应当采用s i g m o i d 型激活函 数。 2 2 2b p 学习算法 神经网络具有首要意义的性质是网络能从环境中学习，并通过学习改善其行为。学 习是一个过程，通过这个过程神经网络的自由参数在其嵌入的环境的激励过程之下得到 调整。学习的类型由参数改变的方法决定。 从大的方面来说，学习算法可分为两类：有监督的学习算法和无监督的学习算法。 对于有监督的学习算法，学习和应用是分开的两个过程。学习过程是一个外加的对神经 网络的连接强度进行系统调整的过程，而应用过程则是一个自治的动力学过程。通俗的 说，这种神经网络就是“先学习，再使用”。而无监督的学习算法中的学习过程和应用过 程是一个统一的过程。它不需要单独的学习过程，而是在与外界环境的不断交互作用中 达到自组织学习，也就是“边干边学，干中学，学中干”。 b p 算法属于一种有监督的学习算法。其主要思想是：对n 个输入学习样本：一， r ，r ，已知其对应的输出样本为：，p 。学习的目的是用网络的实 际输出，p ，与目标矢量，p 之间的误差来修正其权值，使实 际输出与目标矢量尽可能地接近：即：使网络输出层的误差平方和达到最小。它是通过 连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差的变化而逐渐逼 近目标的。 b p 算法由两部分组成：信息的正向传递与误差的反向传播。在正向传递过程中， 输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神 经元的状态。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后反 向传播，通过网络将误差信号沿原来的连接通路反传回来，修改各层神经元的权值直至 达到期望目标。 l o 中北大学学位论文 现以图2 3 所示的两层网络为例进行b p 算法推导。 设输入为兄输入神经元有，1 个，隐含层内有s 个神经元，激活函数为n ，输出层 内有m 个神经元，对应的激活函数为启，输出为y ，目标矢量为l 信息的正向传递： ( 1 ) 隐含层中第歹个神经元的输出为： 其中 少l ，= 1 ( w l t + b l ) ，= 1 , 2 ，s ( 2 6 ) f - l ( 2 ) 输出层第k 个神经元的输出为： y 2 i = f 2 ( - - w 2 盯y l ，+ b 2 t ) ，k = 1 , 2 ，m = l ( 3 ) 定义误差函数为： e ( w ，口) = 寺( 气- y 2 t ) 2 lk = l ( 2 7 ) ( 2 8 ) 利用梯度下降法求权值变化及误差的反向传播： ( 1 ) 输出层的权值变化。从第个输入到第k 个输出的权值有： 峨叫瓦o f , 叫嚣甏 仁9 ， = r l ( t t y 2 t ) f 2 y l ，= r l 如y l ， 如= ( 气一y 2 t ) 。f 2 = e | f 2 e k = ( 气一y 2 | | ) ( 2 1 0 ) ( 2 1 1 ) 同理可得： 砒t 叫盖叫嚣蓑 = 刁( 气一y 2 t ) f 2 = r 如 ( 2 ) 隐含层的权值变化。从第i 个输入到第j 个输出的权值有： 中北大学学位论文 其中： 毗叫瓦a e 叫署篑薏 = ，7 ( ( f - y 2 t ) f 2 w 2 灯f l t = r 6 i i x i ( 2 1 3 ) 如2 中厂17 ，e j2 k = 1 w 2 灯 ( 2 1 4 ) 6 目= e k f2 l ，e k = tk y 2 同理可得： a b l ，= 7 7 屯 ( 2 1 5 ) 2 2 3 误差反向传播流程图 误差反向传播过程实际上是通过计算输出层的误差e k ，然后将其与输出层的激活 函数的一阶导数尼7 相乘来求得如。由于隐含层中没有直接给出目标矢量，所以利用输 出层的翰进行误差反向传递来求出隐含层权值的变化量a w 2 q 。然后计算 p ，= y 屯w 2 h ，并同时通过将e ，与该层激活函数的一阶导数以7 相乘，而求得勘，以 ，- 一 v 一 。 此求出前层权值的变化量a w l ，f 。图2 4 给出了形象的解释。 图2 4 误差反向传播的图形解释 口j e 2 b p 算法要用到各层激活函数的一阶导数，所以要求其激活函数处处可微。对数 s i 舯。i d 型激活函数厂( x ) = i ，其导数为： 1 2 中北大学学位论文 m = 耕= 南c l + e - x - 1 ， = 专( 1 一专) ( 2 1 6 ) = 厂( x ) 1 一厂( x ) 对于线性函数的导数有 厂( x ) = 石= 1( 2 1 7 ) 所以对于具有一各s 型函数的隐含层，输出层为线性函数的网络，有 丘7 = 1 ，j l7 = a ( 1 一a )( 2 1 8 ) 2 3b p 网络的若干改进 基于b p 算法的神经元网络从运行过程中的信息流向来看，它是前馈型网络。这种 网络仅通过许多具有简单处理能力的神经元的复合作用使网络具有复杂的非线性映射 能力而没有反馈，因此它不属于一个非线性动力学系统，而只是一个非线性映射。尽管 如此，由于它理论上的完整性和成功地应用于广泛的问题，所以它仍然有重要的意义， 但它也存在不少的问题。 1 已学习好的网络的泛化( 推广) 问题，即能否逼近规律和对于大量未经学习过程 的输入矢量也能正确处理，并且网络具有一定的预测能力。 2 基于b p 算法的网络的误差曲面有两个特点： 第一，存在一些平坦区，在此区内误差很小，这些平坦区多数发生在神经元的输出 接近于0 或1 的情况下。 第二，存在不少局部最小点，在某些初值的条件下，算法的结果会陷入局部最小。 由于这两个特点，造成网络完全不能得到训练。 除此之外，还有初始随机权值的大小，对局部最小的影响很大。如果这些权值太大， 一开始就可能使网络处于s 型函数的饱和区，则系统有可能陷入局部最小( 或非常平坦 区) 。为了防止这种现象，选取随机初始权值时，使结点的输入权值和的绝对值小于1 ， 但又不能太小。一般说来，希望初始权值在输入累加时，使每一个神经元的状态值接近 于零，这样可保证每个神经元在一开始都在它们激活函数变化最大的地方进行。 1 3 中北大学学位论文 还有学习速率的选取，直接影响训练时间，严重时，完全不能训练，这是因为1 9 8 6 年r u m e l h a r t 等人在证明b p i ) l 练算法收敛中，假设了无限小的学习速率。实际上这是不 可能的，因为这表示需要无限的训练时间，所以，实际上必须选一个有限的学习速率， 即7 7 的值取0 o l 至u 1 之间。一般来说要根据实验或经验来确定，没有一个理论指导。若刁 选得太小，收敛可能很慢；若r 选得太大，可能出现麻痹现象( 即是操作在s 型函数的 饱和区，其导数非常小，随之权值修正量也非常小，若当激活函数的导数趋于零，误差 趋于零，结果使得权值修正量趋于0 ，这就相当于调节过程几乎停顿下来) 。通常为了避 免这种现象，减小7 7 ，但是却又增加了训练时间。根据学习过程的速率7 7 越大，权值改 变就越大的特点，选择的出发点就是使它的值尽可能大但不至于引起振荡，这样可以缩 短训练所需要的时间。1 9 8 8 年w a s s e r m a n 提出了一个在训练过程中自动调节学习速率的 大小的自适应学习算法。 3 网络的隐层结点个数的选取尚缺少一个统一而完整的理论指导( 即没有很好的 解析式来表示) 。 由于b p 算法的上述缺点，因此出现了许多改进算法【16 1 。文献【1 1 ，1 7 1 给出了几种改进 的b p 算法，主要有权值调整、自适应学习速率调整、网络结构调整等。常用的网络训 练改进方法有：加入动量项；自适应学习速率调整；i m 算法。 2 3 1 附加动量法 附加动量法使网络在修正其权值时，不仅考虑误差在梯度上的作用，而且考虑在误 差曲面上变化趋势的影响，其作用如同一个底通滤波器，它允许网络忽略网络上的微小 变化特性。在没有附加动量的作用下，网络可能陷入浅的局部极小值，利用附加动量的 作用则有可能滑过这些极小值。该方法是在反向传播法的基础上在每一个权值的变化上 加上一项正比于前次权值变化量的值，并根据反向传播法来产生新的权值变化。带有附 加动量因子的权值调节公式为： a w v ( k + 1 ) = ( 1 m c ) r l s i p + m c a w v ( k ) ( 2 1 9 ) a b l ( k + 1 ) = ( 1 一m c ) 刁4 + m c a b i ( k ) ( 2 2 0 ) 其中k 为训练次数，m e 为动量因子，一般取o 9 5 左右。 1 4 中北大学学位论文 附加动量法的实质是将最后一次权值变化的影响，通过一个动量因子来传递。当动 量因子取值为零时，权值的变化仅是根据梯度下降法产生；当动量因子取值为l 时，新 的权值变化则是设置为最后一次权值的变化，而依梯度法产生的变化部分则被忽略掉 了。以此方式，当增加了动量项后，促使权值的调节向着误差曲面底部的平均方向变化， 当网络权值进入误差曲面底部的平坦区时，蘸将变得很小，于是， , a w f j ( k + 1 ) = ( 1 - m c ) r 1 4 p + m c a w i j ( k ) ，从而防止了z x w u = o 的出现。有助于使网络从误 差曲面的局部极小值中跳出。 根据附加动量法的设计原则，当修正的权值在误差中导致太大的增长结果时，新的 权值应被取消而不被采用，并使动量作用停止下来，以使网络不进入较大误差曲面；当 新的误差变化率对其旧值超过一个事先设定的最大误差变化率时，也要取消所计算的权 值变化。其最大误差变化率可以是任何大于或等于1 的值。典型的值取为1 0 4 。所以在 进行附加动量法的训练程序设计时，必须加进条件判断以正确使用其权值修正公式： 10当s s e ( k ) s s e ( k - 1 ) 木1 0 4 m c = 0 9 5 当s s e ( k ) v e r t i c a lf o r c e ( i x n )v e r t i c a lf o r c e ( 斗i 、9 ( c ) d a t a 51 图3 4 小波去噪前后比较 在b p 算法中，神经元具有饱和非线性特征( 如果神经元的总输入与阈值相距甚远， 神经元的实际输出要么为最大值、要么为最小值) 。前馈型静态网络的神经元作用函数 的总输入是与其相连的其它神经元输出的加权和，在使用b p 算法时，要防止神经元进入 饱和状态，必须限制与其相连的其它神经元的输出幅值。由于输入层只起数据传送作用， 层中的神经元是扇区单元，通常使用线性作用函数( 输出等于输入) ，不存在饱和状态。 第一隐层中的神经元通常采用饱和非线性作用函数，学习过程中会出现饱和现象，因此 要防止此层神经元进入饱和，必须限制网络输入的幅值。所以，为减少平台现象出现的 可能，加快学习，应对网络的输入样本进行归一化( 或称正则化) 处理。文中采用m a t