（机械电子工程专业论文）人工神经网络与案例推理技术相结合用于故障诊断.pdf

南京航空航天大学硕士学位论文 捅姜 本文主要研究了将神经网络技术同基于案例推理技术相结合用于故障诊 断。神经网络和基于案例推理作为人工智能领域的代表技术，在故障诊断领域 中各有其成功的应用。但由于两种技术本身的缺陷和现代故障形式的不断复杂 化，单独应用这些人工智能技术都不可避免的存在着局限性。因此，根据两种 技术在故障诊断中特点，将两者结合未尝不是解决其各自缺陷的方法，本文正 是基于这一背景，对故障诊断领域中两者的结合进行了研究。 基于神经网络的故障诊断过程缺乏透明性，对于复杂系统效果不佳，而基 于案例推理的诊断方法在大型系统中，诊断精度不高，推理过程缓慢。针对两 者的缺陷和其各自的特点，本文将两者进行结合，并设计了具体的结合方案， 即利用神经网络的模式匹配能力作为预分类器，对案例推理中的案例建立索引， 指导案例的检索，建立了a n n - - c b r 模型。 同时，本文结合炼油工业中的流化催化裂化过程的仿真系统得到数据，对 所建立的结合模型进行了测试。取得了较好的故障诊断结果，诊断性能明显优 于单独使用的情况，说明将神经网络和基于案例推理结合用于故障诊断的有效 性及其实际意义。 关键字：故障诊断，人工神经网络，基于案例推理，a n n - - c b r 模型 人工神经网络与案例推理技术相结合用于故障诊断 a b s t r a c t t h i sp a p e rm a i n l yi n v e s t i g a t e st h ec o m b i n a t i o no fa r t i f i c i a ln e u r a ln e t w o r k ( a n n ) a n dc a s e b a s e dr e a s o n i n g ( c b r ) u s e di nf a u l td i a g n o s i s a n na n dc b r ， w h i c ha r et h et y p i c a lt e c h n o l o g yo fa i ，h a v eb e e nu s e ds u c c e s s f u l l yi nf a u l td i a g n o s i s h o w e v e r ，w i t hr e g a r do ft h el i m i t a t i o no ft h et e c h n o l o g yi t s e l fa n dt h es o p h i s t i c a t i o n o fm o d e mf a u l t s ，t h e r eh a st h e1 i m i t a t i o n ，w h i c hi su n a v o i d a b l e ，t ou s et h e s e t e c h n o l o g ys i n g l y a c c o r d i n gt ot h ec h a r a c t e r so ft h et w ot e c h n o l o g i e su s e di nf a u l t d i a g n o s i s ，c o m b i n i n gt h e mm a y b e ag o o dm e t h o dt os o l v et h o s el i m i t m i o n s ，o r i e m e d t ot h i sb a c k g r o u n d ，t h i sp a p e rh a sc o n d u c t e das t u d yo nh o wt oc o m b i n ea n na n d c b r i nf a u l td i a g n o s i s i nb i gc o m p l e xs y s t e m ，t h em e t h o do ff a u l td i a g n o s i sb a s e do na n n i sl a c ko f c l a r i t y ，w h i c hc a n th a v eag o o dr e s u l t ，a n dt h eo n eb a s e do nc b r r u ns l o w l yb e s i d e s o fi t s i m p e r f e c td i a g n o s i sp r e c i s i o n a c c o r d i n gt o t h e s e t h i sp a p e rh a sc o m b i n e d t h e m ，a n d r a i s e dt h ep r o j e c t i nt h i sp r o j e c t ，a n ni st r e a t e da sa p r e - c l a s s i f i e rb e c a u s e o fi t sf u n c t i o ni np a t t e mm a t c h i n g a n dt h e nc a s e si nc b ra r eb e e ni n d e x e db yt h e a n nr e s u l t s w h i c ha l s og u i d et h er e t r i e v eo fc a s e st h e nt h ea n n c b rm o d e lh a s b e e nr a i s e d m o r e o v e lt h i sp a p e rh a sc h e c k e dt h em o d e lb yu s i n gd a t aa c q u i r e df r o ma s i m u l a t i o no ft h ef l u i dc a t a l y t i cc r a c k i n g ( f c c u ) s y s t e mi no i lr e f i n i n gi n d u s t r ya n d t h er e s u l ts h o w st h a tt h ep e r f o r m a n c eo ft h ec o m b i n a t i o nm o d e li sb e t t e rt h a nt h e s i t u a t i o no fi n d i v i d u a le v i d e n t l y ，w h i c hp r o v e dt h i sm e t h o dt ob ep r a c t i c a la sw e l la s v a 】j d k e y w o r d s ：f a u l td i a g n o s i s ，a r t i f i c i a l n e u r a ln e t w o r k ，c a s e - b a s e r e a s o n i n g ，t h e a n n c b rm o d e l i i 承诺书 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立 进行研究工作所取得的成果。尽我所知，除文中已经注明引用的内容 外，本学位论文的研究成果不包含任何他人享有著作权的内容。对本 论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明 确方式标明。 本人授权南京航空航天大学可以有权保留送交论文的复印件，允 许论文被查阅和借阅，可以将学位论文的全部或部分内容编入有关数 据库进行检索，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后适用本承诺书) 作者签名：童业氢 日期： 碰丛。i ：丛 南京航空航天大学硕士学位论文 第一章绪论 随着现代社会的不断进步，科技的目益发展，生产方式也随之不断变化发 展，集成化、智能化水平不断提高，生产力不断提高。但是随之也产生一系列 的问题，生产设备随之大型化、复杂化，生产过程的不可预知性等等，这就对 系统的安全性、可靠性及有效性提出了严格的要求。特别是一些特殊的领域， 如航空、航天、航海、核工业和化学工业等，由于其特定的工作环境，原则上 只许成功，不许失败。历史上不乏此类的教训，如1 9 8 6 年的“切尔诺贝利”核 电站事故。因此，如何在生产过程中避免或减少此类事故及其负面影响，保证 系统的稳定性，及时、准确地检测并诊断出系统状态成为研究对象，故障诊断 技术便应运而生。 1 1 机械故障诊断技术概述 机械运行过程是动态过程，就其本质而言是随机过程。在不同时刻的观测 数据是不可重复的，用检测数据直接判断运行过程是不可靠的，不同时刻观测 值是否致，只能从统计意义上看它们是一致，还是有显著差别。所谓机械故 障“，就是指机械系统( 零件、组件、部件或整台设备乃至一系列的设备组合) 因偏离设计状态而丧失部分或全部功能的现象。从系统特性来看，机械设备都 是由成百上千个零件装配而成，零部件间相互耦合，这就决定了机械设备故障 的多层次性，一种故障由多层次故障原因所构成。故障与现象之间没有一一对 应的因果关系。 而机械故障诊断技术就是利用现代科学技术和仪器，根据机械设备( 系统、 结构) 外部信息参数的变化来判断机器内部( 系统) 的工作状况或机械结构的 损伤状态，确定故障的性质、程度、类别和部位，并研究故障产生的机理。它 的内容包括对机器运行状态的识别诊断，对其运行过程的监测以及对其运行发 展趋势的预测三个方面。它是大型机械设备运行的关键技术之一，也是各种自 动化系统及一般机械系统提高利用率和可靠性，进行预知维修及预知管理的基 础1 3 j a 从系统分析观点出发，状态监测与故障诊断可以理解为识别机械设备运行 人工神经网络与案例推理技术相结合用于故障诊断 状态的科学，它们的最终目的是提高设备利用率和运行可靠性，分析故障形成 原因，以防患于未然。但状态监测与故障诊断不是等同的概念，而又统一于动 态系统中，状态监测的任务是判别动态系统是否编离正常功能，监视其发展趋 势，预防突发性故障产生。一旦偏离正常功能，如系统有可调参数，应迅速做 出调整，使工况恢复到正常，如果系统某个环节存在故障，就应进一步查明故 障原因及其部位，这就是诊断。因此，状态监测是故障诊断的基础。 1 2 机械故障诊断技术的意义及应用 机械故障诊断是上世纪六七十年代产生并发展起来的门综合性边缘学 科。随着现代化设备的臼趋大型化、复杂化、自动化和连续化，机械设备的故 障诊断技术越来越受到重视，如果某台设备出现故障而又未能及时发现和排除， 其结果不仅会导致设备本身损坏，甚至可能造成机毁人亡的严重后果。在连续 生产系统中，如果某台关键设备因故障而不能继续运行，往往会涉及全厂生产 系统设备的运行，雨造成巨大的经济损失。因此，对于连续生产系统，故障诊 断具有极为重要的意义。例如电力系统的汽轮发电机组、冶金过程及化工过程 的关键设备等等。在机械制造领域中，如柔性制造系统( f m s ) 、计算机集成制 造系统( c m s ) 等，故障诊断技术也具有相同的重要性。然而在机械制造工业 中，大量的是单件、小批量生产，在传统的生产环境中，一般机床设备操作与 质量控制主要靠人进行，这时故障诊断技术的地位就没有前述连续生产系统显 得那么重要。但对于某些关键机床设备，因故障存在而导致加工质量降低，使 整个机器产品质量不能保证，这时故障诊断技术也不容忽视【4 】 “。 随着计算机技术、信息传感技术、信号处理技术、微电子技术以及现代测 试技术等相关学科的迅速发展，机械故障诊断技术已在旋转机械、往复机械、 各种流程工业、机加工过程和各种基础零部件的故障诊断方面获得了应用，这 其中以旋转机械的故障渗断应用最广、最为成熟，而往复机械的故障诊断目前 还多集中于发动机汽缸( 套) 的振动监测诊断 6 j 。目前，机械故障诊断技术已经 成为设备现代化管理和提高企业综合效益的技术基础。它之所以得到迅速发展， 是由于传统的设备计划维修制度的缺陷造成了维修费用的巨大浪费，而以故障 渗断技术为基础的设备预知维修能节省大量的维修费用，取得了显著的经济效 益，而且还能保证设备的安全运行，预防和减少恶性事故的发生，消除故障隐 2 南京航空航天大学硕士学位论文 患，保障人生和没备安全，提高劳动生产率。 1 3 国内外机械故障诊断技术现状 在诊断技术的理论及应用研究方面，美、日及欧洲的一些发达国家一直走 在世界的前列。美国在这方面开发最早，比较成功地应用在航天、航空、军事 及机械等工业中；日本在钢铁、化工、铁路等民用工业部门地诊断技术方面发 展很快，并有较高的水平：英国、瑞典和挪威等在某些方面有特色或处于领先 地位；丹麦在振动监测珍断和声发射监测仪器方面有较高的水平日i 。 故障诊断技术在我国的研究和应用相对起步较晚，1 9 8 6 年在我国召开了第 一次机械设备珍断技术国际会议。1 9 8 7 年5 月中国振动工程学会故障诊断学会 成立：从1 9 8 6 年起，每两年召开一次全国陛的故障诊断学术会议，北京、天津 和沈阳等地先后成立了机械设备诊断技术丌发研究中心，国内一些重点大学， 如西安交通大学、东北大学和北京科技大学等成立了故障诊断研究室，并已培 养出这方面的高级专门人才。在应用方面，1 9 8 3 年冶金部将宝钢和太钢作为开 展诊断技术研究的试点单位：石化系统从7 0 年代组织无损检测到8 0 年代开展 设各状态监测；水电行业以大机组为重点，开展机械设备故障诊断的研究。此 外，机械工业、航空工业、核工业、铁道部门及交通部门等在各自领域都有卓 有成效的研究。在工艺过程的诊断控制中，国内已广泛地开展机械加工工艺质 量的监视、渗断和控制，带钢冷轧质量的振动监测，热处理工艺过程、炼钢工 艺过程和化工工艺过程的诊断，以及控制系统、电网输配等能源系统的故障诊 断。在石油装备故障与状态监测方面的应用研究虽然开展的相对较晚，但近几 年来也卓有成效”】。 随着计算机技术、网络技术和人工智能技术的发展，目前，故障诊断技术 正向智能化、网络化和实用化方向发展。在实用中以基于规则推理的故障诊断 的专家系统为主。例如【7 】，1 9 8 4 年美国西屋电气公司用卡内基梅隆大学研 制的专家系统p d s 开发了汽轮发电机组人工智能诊断系统，包括汽轮机、发电 机、水化学处理三个子系统：1 9 8 5 年s t u a r t 根据s h o r e 给出的故障特征与故障模 式关系表研制了第一个透平机械故障诊断专家系统：1 9 8 6 年w h i t e 和b a n n i s t e r 分别设计了一个通用的旋转机械故障诊断专家系统；1 9 8 7 年法国m a r c o u s s i s 实 验室研制了旋转机械故障渗断专家系统d i v a ；1 9 9 3 年美国本特利公司推出了工 人工神经网络与案例推理技术相结合用于故障诊断 程师e a 。在我国，许多高校和科研院所也自行研制了一些机械设备故障诊断专 家系统。 近年来，以神经网络为代表( 包括神经网络、模糊理论、进化计算以及它 们的融合) 的智能计算技术成为许多领域的研究热点。神经网络是人类对其大 脑信息处理机制的模拟，模糊理论是人类对其思维方式的类化，进化计算( 包 括遗传算法) 是人类对其自身的进化这一宏观过程的学习而提出来的一种优化 算法。它们之剐的交叉融合将是今后智能技术及其应用研究的一个主要方向。 神经网络技术在故障诊断领域的应用研究在近年来取得了很大的进展。如运用 神经网络技术建立化工过程故障珍断系统；利用神经网络技术建立旋转机械故 障诊断系统等。 1 4 故障诊断技术所面临的挑战 在故障诊断技术得到高速发展，并且得到广泛应用的同时，我们必须看到 其面临的一些问题和挑战。 随着科技的发展，当前工业系统的故障形式也不断变化。由于生产过程本 身结构的复杂性、参数和结构的不确定、机理的复杂性、动态特性、时变、强 耦合严重、开放性、建模的复杂性、其所处的复杂环境具有的干扰的动态性与 不确定性、非良定结构，以及其复杂任务带来的多目标优化和工业控制的综合 自动化，使得当前的故障性质主要表现为以下几个方面【8 l ：层次性，即复杂过程 的结构可划分为系统、子系统、都件、元件等各个层次，从而形成其功能的层 次性。因而故障的产生对应于过程的不同层次表现处层次性；时间性，即故障 的产生与表现常常与时间有关，以及由其运动的动态性所决定，如渐进性故障、 间歇性故障等；相关性，即由于当前的生产过程大多由若干相互联系的子系统 组成，某些子系统的故障经常是由与之相关的予系统或下一级子系统的故障传 播所致，从而表现出相关性：模糊性，即系统运行状态中的模糊性，以及人们 在状态监测和技术诊断中存在着叙述模糊的概念及方法：随机性，即故障的发 生常常与部位的故障本身征兆不明显，却引起其他部位的故障：延时性，即故 障的发生、发展和传播时间的延迟；不确定性，即不是由于故障描述的模糊性 引起，也不是因随机性而产生，而是由于人为主观条件限制，在故障产生后， 不能准确说明其发生的部位和原因，而它又确实已经存在，只是困条件不足我 4 南京航空航天大学硕士学位论文 们不能完全感知。相对性，即故障的产生与一定的条件和环境有关，不同条件 和环境下的故障表现以及对其描述与划分存在不一致性，如不同的描述方法故 障的程度就不同。 由于以上故障特性，现有的故障诊断理论和技术正面临着严峻的挑战，对 于当前的复杂的工业过程的故障诊断，至今还没有十分行之有效的方法。由于 复杂工业过程的功能单元很多，各单元机器组合都可能产生故障，其数量是巨 大的，很难对其进行状态描述和模拟各种故障情况。因此，如果采用传统的推 理检测方法进行故障诊断，难以准确及时判别出故障原因。并且工业过程中的 制约因素很多，而各因素之间既有十分复杂的联系，又各自对最终故障贡献的 “权重”十分模糊，因而无法对其状态进行精确的建模监测。 人工智能的发展推动了故障诊断技术的智能化，主要体现在无需建立系统 精确的数学模型，在诊断过程中领域专家知识的干预，可以综合多个领域专家 的最佳经验，实现复杂系统故障的快速分析诊断。目前专家系统和神经网络等 广泛应用于故障诊断领域，但其各自在应用中仍然存在一些问题。对于故障诊 断专家系统而言，除了诊断知识库的建立存在较多的困难外，专家系统技术本 身还有许多不足之外，如知识表示能力弱、推理效率低、知识获取困难、自学 能力和自适应差等。这些问题影响了故障诊断专家系统的进一步发展及应用。 若单纯用神经网络诊断方法对全系统进行诊断，必须有足够多和反映系统状态 的训练样本，这是十分困难的，势必会增大误报率和漏报率，诊断时间也会较 长。而在对并发故障诊断时，除了诊断率不高之外，极易造成整个网络的知识 膨胀，导致收敛慢，产生“麻痹”现象从而造成网络识别能力的下降，还会出 现误差振荡和“过学习：现象，使得神经网络失去了其具有的鲁棒性和容错性。 因此，将神经网络技术和专家系统结合用于故障诊断是当今先进故障诊断 技术的研究方向。本文即是研究将人工智能领域的两个热点神经网络技术 和基于案例推理( c a s eb a s e dr e a s o n i n g ) 进行结合用于故障诊断。 1 5 本文的内容及组织 本文的具体章节安排及各章的主要内容如下： 第一章为绪论，主要介绍了机械故障诊断技术的相关理论，包括故障渗断 的意义、发展及现状，同时还指出了故障诊断技术面临的挑战，引出本文的主 5 人工神经网络与案例推理技术相结合用于故障诊断 要研究内容及目的。 第二章和第三章则是对相关的领域技术进行了讨论。其中，第二章讨论了 神经网络技术，包括神经网络的起源、发展、原理及典型结构，重点介绍了b p 网络，同时简述了基于神经网络的智能故障诊断系统的一般结构和工作流程。 第三章则是讨论了基于案例推理技术，首先介绍了案例推理技术的原理和一般 流程，接着重点介绍了案例推理的几个关键环节，最后综述了案例推理的特点 和应用。 第四章为本文的研究重点。首先，对神经网络和案例推理的特点进行了描 述，同时指出了其各自在故障诊断应用中存在的局限。接着，提出了解决方案， 即将神经网络和基于案例推理进行结合，并设计了结合模型。 第五章着重于对结合模型的测试，本文使用了炼油工业中的f c c u 过程的 仿真系统产生实验数据，对本模型进行测试。同时，根据实验结果，总结了模 型的特点。 第六章对本文进行了总结，并对今后的进一步工作进行了展望。 6 南京航空航天大学硕士学位论文 第二章神经网络技术及其在故障诊断中的应用 2 1 神经网络概述 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n n ) 是一门发展十分迅速 的交叉学科，它涉及到生物、计算机、数学、电子、物理、心理学、认知学等 许多学科吐它是研究有关自适应非编程信息系统的一门工程学科，实际上也是 一种新型信息处理技术。其原理是在现代神经科学研究成果的基础上，采用巨 量并行、分节存储和模拟处理方式，力图反映人脑加工处理信息的某些基本特 征。神经网络模型是在现代神经科学研究成果的基础上提出的，它是由大量非 线形神经元广泛互连所构成的一种网络系统。 。 【2 】 9 】人工神经网络是目前人工智能领域最活跃的一个研究分支。早在1 9 1 3 年就已提出构想，但直到1 9 4 3 年w s m c u l l o c h 和p i t t s 提出神经元模型( m p ) 后，真正意义上的神经科学理论研究的时代才到来。1 9 4 9 年，心理学家d o h e b b 提出神经元之间突触联系强度可变的假设，提出了h e b b 学习准则，为神经网络 的学习算法奠定了基础。1 9 5 1 年m i n s k y 等人制成了具有4 0 个处理单元的基于 h e b b 规则的学习系统，这是a n n 的第一次物理实现。1 9 5 7 年美国康奈尔大学 心理学家r o s e n b l a t t 提出并设计了一个著名的“感知器”神经网络模型，它由阀 值神经元组成，试图模拟动物和人脑的感知和学习能力。这个模型虽然比较简 单，但具有神经网络的_ 些基本性质，例如可学习性、并行处理、分布式存储 等，能识别英文印刷体的字母。1 9 6 0 年b w i n d r o w 和m e h o f f 提出了自适应线 形单元( a d l i n e ) 网络。1 9 6 9 年m m i n s k y 和s p a p e r t 编写了影响很大的 p e r c e p t r o n ) ) 一书，指出单层感知器学习能力有限，只能求解一阶问题，对于 较为复杂的高阶的求解却无能为力，进而对多层网络是否有意义也提出了悲观 的结论加之当时以逻辑推理为基础的人工智能和数字计算机取得了辉煌成就， 从而大大降低了许多人对人工神经网络研究的热情，这使得人工神经网络的研 究在七十年代跌入了低潮。在这个低潮期，仍有许多学者继续探索，芬兰的 t k o h o n e n 提出了自组织映射理论，美国的s a g r o s s b e r g 提出了自适应共振理 论( a r t ) ，日本的福岛邦彦提出了认知机( n e o c o g n i t r o n ) 模型等。这些成果为 7 人工神经网络与案例推理技术相结合用于故障诊断 神经网络的理论、数学模型和体系结构的进一步研究打下了坚实的基础。直到 1 9 8 2 年，美国的j h o p f i e l d 提出了新型的神经网络模型h o 口f i e l d 模型，解决 了一些复杂的实际问题，1 9 8 6 年，r u n n e l l h a r t 等人提出了多层网络的反向传播 算法( b p 算法) ，a n n 理论研究才出现了新的突破，再次掀起了高潮。 我国的神经网络研究始于1 9 8 8 年前后，在基础与应用领域开展了许多工作， 在国际上已占有一定的地位。1 9 8 9 年1 0 月，我国神经网络工作者在北京举行了 神经网络及其应用讨论会；1 9 9 0 年1 2 月，在北京召开了我国首届神经网络学术 大会；1 9 9 1 年1 1 月，在南京举行的中国神经网络学术大会上，成立了中国神经 网络学会：1 9 9 2 年1 1 月，在北京召开了国际神经网络学会和i e e e 神经网络委 员会联合学术会议。近年来国内许多领域的全国性学术会议、地方性会议和各 种学术刊物上关于神经网络及其应用的文章大量涌现，从事这方面工作的队伍 日益壮大i 引。 2 2 神经网络理论基础 神经网络是由大量处理单元神经元广泛互连而成的网络。单个的神经 元结构和功能虽然简单，但大量的神经元组合产生的系统行为却非常复杂。神 经网络从某方面反映了人脑功能的基本特征，但并不是人脑的真实描写，而只 是它的抽象、简化和模拟，网络的信息处理由神经元之间的相互作用来实现。 网络的学习和识别决定了各神经元间连接权值的动态演化过程。 2 2 1 人工神经元模型 神经元就是神经细胞，在生物体内有许多种类繁多的神经细胞，它们在生 物体内通过相互的连接构成一个有机的网络系统。个神经元主要包含两个部 分，一个是神经细胞体，细胞体内有一个细胞核；另一个是突触，它包含树突 和轴突，树突对神经细胞来说相当于信息输入通道，轴突相当于输入信息经细 胞体处理后的输出通道【7 1 。一般来说，人体内大约有i o ”个不同种类的神经元 构成一个复杂的有机体，我们的目的就是建立人工神经网络来模拟人的思维和 学习过程。 人工神经元是神经网络的基本处理单位，是在生物神经元研究的基础上提 出的一种模拟生物神经元结构与功能的简单数学模型。其基本特征有： 南京航空航天大学硕士学位论文 l i d 每一个神经元都是一个多输入单输出的信息处理单元。 神经元有兴奋性输入和抑制性输入两种类型。 神经元输出有阈值特性，当输入总和超过阂值时，神经元才会被激活； 当输入总和未超过阈值时，神经元不会发生冲动。 神经元的输入与输出之间有固定的时滞，主要取决于突触时延。 神经元本身是非时变的。 人工神经元的基本结构如图2 1 所示。 图中：x ，神经元的输入，也即其它神经元的轴突输出； y ，神经元j 的输出，它可与其它多个神经元通过权连接： w ，其它n 个神经元与神经元j 的突触连接强度，通常称为权重，它可 为正，也可为负，分别表示为兴奋性突触和抑制性突触； 0 神经元j 的阚值； 厂( 1 非线形函数，称为神经元的激活函数或转移函数； 求和 图2 1人工神经元结构 神经元j 的输出y 可用下式描述： y ，= ，( w ，一只) ，f j ( 2 一1 ) r l f 设 n e t j = w ，t 一0 j ( 2 2 ) ，2l 则y = f ( n e t ，) ( 2 3 ) 在神经网络中，只有在无抑制性输入且兴奋性输入总值超过神经元兴奋闽 9 人工神经网络与案例推理技术相结合用于故障诊断 值，神经元才能兴奋起来，用权值来表达无抑制性输入还是抑制输入，权值一 般在 0 ，1 间。每个神经元的输出，或“0 ”或“l ”，分别表示“抑制”或“兴 奋”状态，则 似) = 做髦 c ：刊 f ( x 1 是一个激活函数( a c t i v a t i o nf u n c t i o n ) ，也称转移函数，式( 2 4 ) 的激活函数为阶跃函数。 由式( 2 - i ) 与( 2 - 4 ) 可知，当神经元j 的输入信号加权和超过阀值时，输出 为“l ”，即“兴奋”状态；反之，输出为“o ”，是“抑制”状态。 人工神经元是神经网络的基本组成，也是神经网络理论的基础。 2 22 神经元间的连接和激活函数 生物体内的神经元是靠突触相互连接的，这些连接通道不仅起到传输信息 的作用，而且还能对输入信息加权。对某一神经元来说，各个输入信息所起的 作用不同，有些输入信息起到兴奋作用，因此该信息的输入权值较大且是正的； 而另外一些输入信息对神经元起抑制作用，因此该信息的输入权值是负值。一 个神经元是否能被激活，主要取决于输入信息的大小。 激活函数是神经网络的核心之。神经网络解决问题的能力与功效除了与 网络结构有关外，在很大程度上取决于网络所采用的激活函数。激活函数的基 本作用有【2 l ： 1 ) 控制输入对输出的激活作用； 2 ) 对输入、输出进行函数转移； 3 ) 将可能无限域的输入变换成指定的有限范围内的输出。 常见的激活函数有阶跃函数、分段线形函数以及s 型函数等。其中s 型激 活函数应用最为广泛，目前理论上已证明，具有s 型激活函数隐含层的多层前 馈神经网络具有逼近任意函数及其各阶导数的能力【10 1 ，其算式为： ，( 盯) = ( 1 + e x p ( 一盯+ c ) ) ， ( 2 5 ) 其中c 为常数。 各种神经输出特性如图2 2 所示： 1 0 南京航空航天大学硕十学位论文 ab j y ( 仃) 厂 一 ) 石 c a ) 阶跃函数b ) 分段线性函数c ) s 型函数 图2 2神经元输出特性图 除了上面常用的激活函数外，神经元还采用其它形式的函数，例如在某些 网络中，一些神经元会采用高斯型激活函数。 2 3 人工神经网络模型 2 3 1 人工神经网络模型的分类 生物神经系统的基本构造和功能单位是神经元，并通过突触构成错综复杂 的神经元连接网络。因此可以简单的说，生物神经系统是以功能简单的神经元 为信号处理单元，通过广泛的突触连接形成的庞大的信息处理系统。它强大的 信息处理能力来自于这种规模宏大的并行运算。若从整体上分析生物神经系统， 从信息角度看它具有如下的基本特点j ： 1 ) 神经元是基本的信息处理单元，具有信号的输入、整合、输出三个主要 功能： 2 1 突触是整个神经系统各单元间信号传递的基础，它构成各种神经元之间 的广泛连接； 3 1 突触具有可塑性。神经递质的数量可以改变突触强度，从而使神经通路 发生变化，这使得神经网络的结构和状态具有可变性。 人工神经网络是对生物神经网络的模拟，它是由多个人工神经元广泛互连 而成的网络。目前已有几十种神经网络模型。我们可以从不同的角度对神经网 络进行分类。从有无信号的反馈角度，神经网络可以分为有反馈网络和无反馈 网络；而根据神经单元间的联接方式的不同，神经网络主要分为两大类j ：分 屡网络模型和互连网络模型。 l 】 ( 一e 巴 人j 二神经网络与案例推理技术相结合用于故障诊断 1 1 分层网络 这种模型将众多神经元分成若干层顺序连接，在第一层( 输入层) 加入输 入样本，通过中f b q 层( 或叫隐含层) 进行交换，最终达到输出层输出。这种分 层网络的结合方式还可以有如下几种： 简单的分层网络，也叫前向网络。它是由输入层、中间层( 也叫隐含层) 和输出层组成，隐含层可以由若干层组成。在这种网络中，每一层的神经元只 接受前一层神经元的输出，并输出给下一层，同层神经元之间没有连接； 层内神经元相互之间有连接的分层网络； 有反馈连接的分层网络。 2 1 互联网络模型 这是一种在任意两个神经元之间都有连接的神经网络模型。在这种模型中， 输入信号要在神经元之涮反复传递，从某一初始状态出发，经过若干次的变化， 网络渐渐趋于某一稳定状态或进入周期振荡等其他状态。 2 3 2 人工神经网络的学习规则 人工神经网络最有价值的特征就是它的自适应功能，这种自适应功能是通 过所谓的训练或学习实现的。任何一个神经网络模型要实现某种功能的操作， 必须先对它进行训练，使得它学会所要完成的任务，并把这些学得的知识记忆 ( 存储) 在网络的权值中。 人工神经网络的学习规则可分为如下几种 2 1 ： ( 1 ) 相关规则仅仅依赖于连接间的激活水平改变权重，如h e b b 规则 等i 】2 】。 ( 2 ) 纠错规则依赖于输出节点的外部反馈改变网络权重，如感知器学 习舰则、6 舰则以及广义6 规则。 ( 3 ) 竞争学习舰则类似于聚类分析算法，学习表现为自适应于输入空 间的事件分布，如矢量量化( l e a r n i n gv e c t o rq u a n t i z a t i o n ，简称l v q ) 算法、 s 铡算法、以及a r t 训练算法都利用了竞争学习规则。 ( 4 ) 随机学习规则利用随机过程、概率统计和能量函数的关系柬调节 连接权、如模拟退火( s i m u l a t e d a n n e a l i n g ) 算法【1 3 1 ，此外，基于生物进化规则 的基因遗传( g e n e t i ca l g o r i t h m ，简称g a ) 算法1 在某种程度上也可视为一类 随机学习算法。 南京航空航天大学硕士学位论文 尽管神经网络的学习规则多种多样。但它们一般可归结为以下两类廿】： ( 1 ) 有指导学习不但需要学习用的输入事例( 也称训练样本，通常为一 矢量) ，同时还要求与之对应的表示所需期望输出的目标矢量。进行学习时，首 先计算一个输入矢量的网络输出，然后同相应的目标输出比较，比较结果的误 差用来按规定的算法改变加权。其原理如图2 3 所示。 学习系统 由 输入1rt ( 目标输出) 神经网络i i 实际输出 学习系统 图2 , 3有指导方式 l 自我比较 输入 r t实际输出 。神经网络 l 图2 4无指导方式 ( 2 ) 无指导学习不要求有目标矢量，网络通过自身的“经历”来学会某 种功能。在学习时，关键不在于网络实际输出怎样与外部的期望输出相一致， 而在于调整权重以反映学习样本的分布，因此整个训练过程实质是抽取训练样 本集的统计特性。其原理如图2 4 所示。 2 4b p 网络及其算法 2 , 4 1b p 网络模型 从神经网络的应用功能和特点来看，目前已有近四十种神经网络应用模型， 如h o p f i e l d 网络、m o l t z m a n n 机、a r t 网络和b a m 网络等a 在故障诊断中用的 1 3 人工神经网络与案例推理技术相结合用于故障诊断 最多也最有成效的是前向多层神经网络。由于该网络在学习过程中采用了b p ( b a c k p r o p a g a t i o n ) 算法，故有时该网络又称为b p 网络。三层b p 网络如图2 5 所示。它分为输入层、隐含层和输出层。网络中相邻层采取全互联方式连接， 同层各神经元之间没有连接，输入层和输出层之间没有直接的联系。输入信号 从输入层节点，依次传过各隐层节点，然后传到输出节点，每一层节点的输出 只影响下一层节点的输出，每个节点都具有图2 1 所示的单个神经元结构，其单 元特性通常为s i g m o i d 型，但在输出层中，其单元特性有时为线性。 输入层隐含层输出层 图2 5 三层b p 网络结构 一个具有任意的压缩( s q u a s h i n g ) 型激活函数( 如s i g m o i d 函数、双曲正 切函数等) 的单隐层前向网络，只要有充分多的隐层单元就能够逼近任意一 个连续函数，即b p 网络是一个通用的函数逼近器。当然，为逼近一个连续函数， 一个隐层是足够的，但这并不意味着从网络结构、学习速度等方面来看一个隐 层是最好的。 b p 神经网络中的动力学过程有两类：一类是学习过程，在这类过程中，各 神经元之间的连接权将得到调整，使之与环境信息相符合。连接权的调整方法 称为学习算法。 另一类过程是指神经网络的计算过程，在该过程中将实现神经网络的活跃 状态的模式变换。与学习过程相比，计算过程的速度要快得多，因而，计算过 程又称为快过程。与之对应，学习过程通常称为慢过程。 2 4 2 b p 算法 b p 算法将神经网络学习输入输出的映射问题转变为一个非线性优化问题， 1 4 南京航空航天大学硕士学位论文 使用了最优化中最为普遍的梯度下降算法，用迭代运算修正网络权重，实现网 络输出与期望输出间的均方差最小化。它的基本思想是：对于一个训练样本， 将其特征向量输入a n n ，经过a n n 的前向传播计算，得到一个输出，然后将 这个输出与期望的样本输出相比较，若有偏差，就将该偏差从输出层往回反向 传播，调整连接的网络权值和阕值，使网络的期望输出与样本输出尽量一致。 由此可见，b p 算法的学习过程分为两步，第一步，工作信号，也就是样本 输入信号通过现有的连接权向前传播，经过各个神经元节点的传递函数作用后， 产生实际的输出信号，它是输入和现权值的函数；第二步，计算出实际输出与 期望输出的误差信号，这些误差信号再由输出层逐层地向输入层方向传播，以 获得各层神经元的误差信号，从而调整相应的连接权。反复这两个过程，直到 实际输出与期望值之| 日j 的误差在允许范围之内。 b p 算法的具体推导过程如下 8 】【9 】： 首先，我们假设输入层、隐含层及输出层神经元的个数分别为，m ，。 设从第，层神经元j 到第卜l 层神经元f 的连接权值为w p 为当前学习样 本，o ：) 为在p 样本下第，层第z 个单元的输出，激活函数厂 】取为s i g m o i d 函数， 即似) 2 乏而。 对于第p 个样本，网络的输出误差e 用下式表示： 占，= ( ，。一口等) ( 2 6 ) = 0 上式中f 。为输入第p 个样本时第个神经元的理想输出，口：是它的实际输 出。 考虑多层神经网络中的f 层( 隐含层或输出层，即f = l ，2 ) ，假设第f 层有， 个神经元，第，一l 层有，个神经元。 为了使系统的实际输出与理想输出相接近，即使e 下降根据梯度算法， 我们可以对，层按下式进行调整： 一豢，忙1 ，2 ( 2 _ 7 ) 对于非输入层的神经元具有下面的操作特性： n e t ；t s = w 加岔”一掣 ( 2 8 ) 人工神经网络与案例推理技术相结合用于故障诊断 即设 6 d = f j ( n e t ：1 ) ( 2 9 ) 在式( 2 - - 8 ) 中，如果将- o l “看作是第l l 层的一个虚拟神经元的输出 则式( 2 8 ) 可改写为 又 d 州( t - ”= 1 ，咄= 一叫 由式( 2 1 0 ) 可以得到 定义 n e t ：l j ) = w 如，( i - 1 娩n 鼬? 1 o n e t ：一 a n e t ： a n e t ：；t j 却| ：) 南兰km ow 娥吐。( 2 - - 1 2 ) 综合式( 2 7 ) 、( 2 - - 8 ) 、( 2 1 0 ) 和( 2 1 2 ) 得出 ，蟛：) = 移； t - i = 0 , 1 ，2 ，j j = 0 , 1 “2 一，j 一1 1 = 1 , 2 可见，为求出调整值，必须先求出万：。 ( 2 一1 3 ) 竺a ：，箸) n e t ： 。、”。 现在，我们分两种情况来讨论： 1 ) 如果所讨论的神经元为输出神经元，则由式( 2 6 ) 可得 羔：一( t m - - 0 譬，) 等 代入式( 2 1 4 ) 得到 硝= ( r 。一。穿) ( 删# ) ( 2 一l j ) 器 一 兰 占 l 嘭 型孤 堡硝南 南京航空航天大学硕士学位论文 j20 , 1 ，2 ，一，n i ，1 22 2 ) 如果所讨论的神经元为隐含层神经元，则有 番= 薹惫丝o o j , = 薹南奇秘蚶a o 岔急翻e r 茹”盘翻e f 譬”面岔台“印。 = 薯筹= 一势+ ” 将此结果代入( 2 - - 1 4 ) 得到 占娑= 窘) 嘴”皑“ ( 2 一1 6 ) = 0 , 1 ，2 ，m 一1 ，= 1 从上式可以看出，为求出隐含层的输出误差系数酬，必须用到输出层的 ”，所以这个过程也称为误差反向传播过程 ， 。di(ebp e r r o r b a c kp r o p a g a t i o n ) 现在来讨论占翟项中的( 胎f 寄) ，由于，( 】采用s i g m o i d 函数，即 ，f 鬲嘉钏竽 由此，我们可以得到 ( 删) = 。舯一。岔) ( 2 1 7 ) 将式( 2 一t 7 ) 代入式( 2 - - 1 5 ) 和式( 2 - - 1 6 ) 得到 础= ( ，一。：) o 舯一。岔) ( 2 1 8 ) i = 0 , 1 ，2 ，n 一1 ，= 2 和 础= ( d w ：+ 1 ) ) o 加一。岔) ( 2 1 9 ) i = 0 , 1 ，2 ，- ，m 一1 ，= 1 将式( 2 - - 1 8 ) 和式( 2 - - 1 9 ) 代入式( 2 - - 1 3 ) 得到 当f = 2 ( 输出层) 时 p 蜉= r t ( t 一d 譬) o ：( 1 一。譬o 月i ( 2 2 0 ) i = 0 ，1 ，2 ，n 一1 ，= 0 , l ，2 ，。，m 当f = l ( 隐含层) 时 ，w ：”= ，7 ( 1 谨) d 如一d 岔) o ： ( 2 2 1 ) 人| = 神经网络与案静j 推理技术相绵合刖丁故障渗断 d 劣= x 爿， = o ，1 2 至此为止，推导完了b p 学习算法， 后结果。 m l ， j = o l ，2 - 一 式( 2 - - 2 0 ) 与式( 2 2 1 ) 为推导的最 2 4 3b p 算法中几个值得注意的问题j 9 1 1 ) 神经网络输入层、输出层的神经元个数可以根据研究对象的输入、输出 信息来确定，如何合适选取隐含层神经元的数日无规律可循，然而隐含神经元 的数目是否合适对整个网络能否正常工作具有重要意义。隐含 中经元数h 如果 太少，则网络可能根本无法训练：如果隐含神经元数目刚刚够，