（电路与系统专业论文）模拟电路故障诊断的小波与模糊神经网络方法研究[电路与系统专业优秀论文].pdf

摘要 摘要 模拟电路故障诊断的研究经过四十多年的发展，己经形成一系列理论 和方法，但由于其本身理论的复杂性以及目前诊断方法的实用性不强，使 得应用前景与人们的期望差距甚远。近年来，神经网络、小波理论和模糊 理论等得到了快速发展，已经开始应用在容差模拟电路故障诊断中。 本文主要研究了容差模拟电路故障诊断的小波神经网络方法和模糊神 经网络方法。在b p 神经网络的基础上提出的这些方法，主要目的是为了减 少故障诊断时间和提高网络的平均诊断正确率。 本文首先对b p 神经网络算法的基本原理及其改进方法做了详尽的论 述，并将基于主元分析预处理的b p 神经网络应用于容差模拟电路故障的诊 断；其次，在经典的小波神经网络基础上，提出了一种改进的多输入多输 出的小波神经网络，采用自适应学习率及附加动量b p 算法进行训练，将该 小波神经网络应用于容差模拟电路故障诊断中，研究了它对故障诊断的效 果，并用b p 神经网络对同样的故障样本进行故障诊断，对两种诊断方法进 行了比较；然后，将模糊理论和b p 神经网络相结合，构造了一个基于 t a k a g i s u g e n o 型模糊推理系统的集成自适应模糊神经网络，利用混合算法 来训练网络权值、优化隶属度函数，通过仿真实验验证了该诊断方法的可 行性和有效性，并与b p 神经网络方法进行了比较。 关键词模拟电路；故障诊断；b p 神经网络；小波神经网络；模糊神经网络 燕山大学工学硕士学位论文 a b s t r a c t f o rf o r t yy e a r s ，r e s e a r c ho fa n a l o gc i r c u i t sf a u l td i a g n o s i sh a sd e v e l o p e d g r e a t l y ，a n dt h ef o r e f r o n to fm o d e mc i r c u i tt h e o r yh a sas e r i e so fd i a g n o s i s t h e o r ya n dm e t h o d s h o w e v e r ，c o m p l i c a t e dt h e o r ya n dp o o rp r a c t i c a b i l i t yo f t h e s em e t h o d sm a k et h e s em e t h o d s a p p l i c a t i o nf o r e g r o u n df a rf r o me x p e c t a t i o n o fp e o p l e n e u r a ln e t w o r ko ) ，w a v e l e tt h e o r ya n df u z z yt h e o r yh a v eg a i n e d q u i c kd e v e l o p m e n ta n dh a v eb e e nw i d e l ya p p l i e di nf a u l td i a g n o s i so fa n a l o g c i r c u i t sw i t ht o l e r a n c e sr e c e n t l y 田1 i s p a p e rm a i n l yr e s e a r c h e s t h ea n a l o gc i r c u i t sf a u l td i a g n o s i s1 v i t h t o l e r a n c e sb yw a v e l e tn e u r a ln e t w o r k ( w n n ) a n df u z z yn e u r a ln e t w o r k ( f n n ) n em e t h o d sw h i c hb a s e do nb a c kp r o p a g a t i o nn e u r a ln e t w o r k ( b p n n ) c a nd e c r e a s ef a u l td i a g n o s i st i m ea n de n h a n c en e t w o r ko fa v e r a g ed i a g n o s i s a c c u r a t er a t i o f i r s to fa l lt h ep a p e rd i s c u s s e st h ep r i n c i p l eo fb p n na l g o r i t h ma n dt h e w a y t oi m p r o v ei t , a n da p p l i e st h eb p n nb a s e do np r i n c i p l ec o m p o n e n t a n a l y s i s p r e c o n d i t i o n i n gi nf a u l td i a g n o s i so fa n a l o gc i r c u i t sw i t ht o l e r a n c e s s e c o n d l y , o nt h eb a s i so f c l a s s i c a lw n n t h ep a p e rp u t sf o r w a r da ni m p r o v e m e n to f 仆d w i t hm a n yi n p u t sa n do u t p u t s ，t r a i n i n gt h en e t w o r kw i t ht h eb a c kp r o p a g a t i o n a r i t h m e t i cw h i c ha d o p tm o m e n t u ma n ds e l f - a d a p t i v el e a r n i n ga r i t h m e t i c t h i s p a p e ra p p l i e st h ew n n i nf a u l td i a g n o s i so fa n a l o gc i r c u i t sw i t ht o l e r a n c e sa n d r e s e a r c h e st h ee f f e c to f i t sa p p l i c a t i o n w ea l s oa p p l yt h eb p n nt od i a g n o s et h e s a m es w a t c h , a n dc o m p a r et h ee f f e c to f t h et w om e t h o d s a f t e r w a r d s ，t h ep a p e r c o m b i n e sf u z z yt h e o r yw i t hb p n n i nt h em e t h o d , a ni n t e g r a t e ds e l f - a d a p t i v e f n ni sd e v e l o p e db a s e do nt h et a k a g i s u g e n of u z z ys y s t e m n 他t r a i n i n go f n e t w o r kw e i g h t sa n do p t i m i z a t i o no fm e m b e r s h i pf u n c t i o n sa r cc o n d u c t e d e m p l o y i n gh y b r i da l g o r i t h m s c o m p a r i n g 谢t l lt h eb p n n m e t h o d t h e i i f e a s i b i l i t ya n dv a l i d i t yo f t h em e t h o da i ev a l i d a t e db ys i m u l a t i o nt e s t i n g k e y w o r d sa n a l o gc i r c u i t s ；f a u l td i a g n o s i s ；b a c kp r o p a g a t i o nn e u r a ln e t w o r k ； w a v e l e tn e u r a ln e t w o r k ；f u z z yn e u r a ln e t w o r k i l l 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文模拟电路故障诊断的小 波与模糊神经网络方法研究，是本人在导师指导下，在燕山大学攻读硕士 学位期间独立进行研究工作所取得的成果。据本人所知，论文中除己注明 部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出重 要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果将 完全由本人承担。 作者签字辅寅印日期：2 0 0 7 m s 月2 稠 燕山大学硕士学位论文使用授权书 模拟电路故障诊断的小波与模糊神经网络方法研究系本人在燕山 大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研究 成果归燕山大学所有，本人如需发表将署名燕山大学为第一完成单位及相 关人员。本人完全了解燕山大学关于保存、使用学位论文的规定，同意学 校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和借 阅。本人授权燕山大学，可以采用影印、缩印或其他复制手段保存论文， 可以公布论文的全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密彤 ( 请在以上相应方框内打“”) 作者签名：拗日期：2 0 0 7 年3 8 2 2 b 导师签名：高抟日期：砷年；月屹日 第1 章绪论 第1 章绪论 1 1模拟电路故障诊断的研究背景和意义 模拟电路广泛应用于军工、通讯、自动控制、测量仪表、家用电器等 各个方面。随着大规模模拟集成电路的发展，模拟电路的复杂度和密集度 不断增长，对模拟电路运行可靠性的要求更为严格。在模拟电路发生故障 后，要求能及时将故障诊断出来，以便检修、调试和替换。就模拟电路生 产工厂而言，也要求能诊断出故障以便分析原因，改进工艺以提高成品合 格率。对某些用于重要设备的模拟电路，还要求能进行故障预测，也就是 对模拟电路在正常工作时的响应作持续不断的监测，以确定哪些元件将要 失效，以便在模拟电路故障发生前将那些将要失效的元件替换掉，以避免 故障发生。所有这些，通常的人工诊断技术已经无法满足需要，因而，模 拟电路故障的自动诊断成为一个急待要解决的问题。自动故障诊断的关键 在于诊断程序的产生，而诊断程序产生的中心问题是模拟电路故障诊断理 论。因此，模拟电路故障诊断的研究引起了世界各国电路理论工作者的高 度重视。模拟电路故障诊断理论的研究是从网络元件参数可解性开始的。 1 9 6 0 年r s b e r k o w i t z 首先提出了关于模拟电路诊断的可解性概念【1 1 ，指出， 一个网络称为元件值可解的，当且仅当它的每个元件值能够从其外部端子 上测得的网络特性唯一地加以确定，并提出了无源、线性、集总参数网络 的网络元件值可解性的必要条件。以此拉开了模拟电路故障诊断理论研究 的序幕。 1 2 模拟电路故障诊断的现状与发展 模拟电路故障诊断于2 0 世纪6 0 年代在军事工业上首先开始研究，发 展至今，己成为网络理论中公认的第三大分支犯卅，成为一个具有巨大生命 燕山大学工学硕士学位论文 力的研究新领域。 从2 0 世纪7 0 年代起，世界各国的学者发表了许多有关模拟电路故障 诊断方面的论文，提出了各种不同的原理和方法，并在1 9 7 9 年达到了一个 高峰，奠定了模拟电路故障诊断的理论基础。国际电子电气工程师协会电 路与系统学报( i e e et r a n s o nc a s ) 为此出了模拟电路故障诊断特刊，以后， 每年电路与系统国际会议都将故障诊断列为一项专题，每年在模拟电路故 障诊断领域的研究中都有一些新的进展。1 9 7 9 年后，模拟电路故障诊断研 究主要朝着故障诊断的实用化方向发展。1 9 8 5 年b a n d l c rj w 在i e e e 上发 表了题为模拟电路故障诊断的特邀文章【5 】，对到当时为止的模拟电路故障诊 断理论作了全面总结。以后，类似的综述性文章及专著有文献 6 ，7 】。 我国对模拟电路故障诊断理论的研究起步较晚，大约于7 0 年代末才被 较多地引起重视。以后的发展还是比较快的，主要从多故障法和字典法开 始起步，主流仍然是模拟电路故障诊断的理论研究。国内的不少学者，如 林争辉、何怡刚、张志涌等都有不少论著是关于模拟电路故障诊断的。自 身的特殊性使得模拟电路故障诊断具有较大的难度。9 0 年代以来，虽然有 不少理论工作者都投入到该领域的研究，发表有关论文千篇以上，但主要 解决的是线性网络在无容差或小容差情况下的诊断理论与方法，近年来在 非线性问题上也取得了一些长足进展，但不具实用性，模拟电路故障诊断 理论和方法有待进一步发展。 1 3 模拟电路故障诊断的方法 模拟电路故障诊断的方法【8 9 1 以人工智能新理论的出现为界线，可分为 两类：一是模拟电路故障诊断的传统方法，二是模拟电路故障诊断的现代 方法。 1 3 1 模拟电路故障诊断的传统方法 模拟电路故障诊断的传统方法主要包括：故障字典法【2 1 、故障参数识别 法口1 、故障验证法【2 】和逼近法【3 1 。 2 第1 章绪论 故障字典法1 2 】是目前模拟电路故障诊断中最具实用价值的方法。它的基 本思想是：首先提取电路在各种故障状态下的电路特征( 如检测节点的电位 向量、网络的幅频特性等) ，然后将特征与故障的一一对应关系列成一个字 典。在实际诊断时，只要获取电路的特征，就可以从故障字典中查出此时 对应的故障。该方法只能针对硬故障( 元件的开路或短路) 进行诊断。根据激 励源性质和所取特征向量的差异，故障字典法又分为直流故障字典法和交 流故障字典法。e m l i n 介绍了一种用逐渐线性化来模拟非线性元件特性的 故障字典方法【1 0 1 。文献 1 1 】提出了一种基于模糊故障字典的模拟电路故障诊 断的方法，用模糊故障字典取代传统的故障字典，在构造隶属函数时考虑 了输出响应关于电路元件参数的灵敏度。文献【1 2 】提出了基于节点电压灵敏 度，可以诊断非线性电路软故障的新故障字典法。 故障参数识别法【2 】根据网络已知的拓扑关系、输入激励和输出响应，估 计( 识别) 出网络中所有的参数( 或参数偏离标称值的偏差) ，最后依照每个参 数的允许容差范围来确定网络中的故障元件。该方法适用于诊断网络中的 软故障( 指元件的参数超出预定的容差范围，一般它们均未使设备完全失 效) 。根据所识别参数的不同分为元件值识别和元件值增量识别两大类。由 于一般网络所包含的元件数较大，且方程多为非线性方程，所以求解这些 方程是很艰巨的工作。此外，由于这些工作都是测试后进行的，实时性很 差，因此给实时故障诊断带来困难。 故障验证法【2 】是在获取少量故障信息的基础上进行诊断，实施较为方 便，且具有较好的实用前景。它的基本思想是预先猜测电路中的故障所在， 然后根据所测数据去验证这个猜测是否正确。由于电路中总的故障种数较 大，而各种故障的组合数则更大，因此，这种“猜测”的次数很多，且计算 量非常大。对这种方法的研究主要集中在如何减少猜测次数，以及减少对 每次猜测进行验证所需要的工作量。此种方法包括k 故障诊蝌1 3 】、故障定 界诊蝌“】和网络撕裂法 1 5 , 1 6 1 等。在进行故障诊断时，应满足各自的可测性 条件，即被测网络的拓扑结构应满足一定的约束条件，施加的独立激励向 量应有足够的数量，可及点( 可测电压的节点) 数至少大于故障数，而且应该 独立。否则，会出现误诊断或不能诊断出故障等情况。值得一提的是，k 燕山大学工学硕士学位论文 故障诊断法从理论上讲可以进行多故障的诊断。但是，在实际中，受网络 拓扑结构的约束，只能进行单故障的诊断。 逼近法故障诊断是一种近似技术【3 】，一般需要测量较少的数据，采用一 定的估计技术估计出最可能发生故障的元件。它包括测前模拟中的概率统 计方法和测后模拟中的优化方法。概率法是根据统计学原理，决定电路或 系统中各元件发生故障的概率，从而判断出最可能的故障元件。优化法用 于软故障诊断，其思路是采用适当的目标函数，估计出最可能出现故障的 元件。我国学者何怡刚将神经网络方法应用到此方法中，对此算法进行了 改进。 1 3 2 模拟电路故障诊断的现代方法 与模拟电路故障诊断传统方法相比，基于人工智能( 专家系统) 、小波理 论、神经网络和模糊理论等技术的诊断方法称为模拟电路故障诊断的现代 方法。 神经网络( n e u r a ln e t w o r k ，n n ) 【1s 1 是对人脑功能的模拟。由于神经网 络具有非线性性、自适应性、并行性、容错性等优点，已广泛应用于模式 识别、信号处理、判识决策、组合优化和知识工程等领域。神经网络在8 0 年代末期开始应用于故障诊断，随着神经网络的不断成熟及大量应用，将 神经网络用于模拟电路的故障诊断已是最新发展趋势。 小波田埘1 在框架内能逼近任意非线性连续函数，同时它在时频域都具 有良好的局部化特性。而神经网络则具有自学习、自适应、鲁棒性、容错 性和推广能力。如何把小波和神经网络两者的优点结合起来对模拟电路进 行故障诊断，一直是人们关注的问题。小波与神经网络的结合有两种形式， 一种是先利用小波变换对信号进行预处理，提取信号的特征向量作为神经 网络的输入；另一种则是采用小波函数和尺度函数形成神经元，达到小波 和神经网络的直接融合，形成所谓的小波神经网络( w a v e l e tn e u r a ln e t w o r k ， w 或小波网络。在随后的发展过程中，又相继出现了很多种小波网络， 如：正交小波神经网络、多变量函数估计小波网络和区间小波网络等。目 前在模拟电路故障诊断领域，小波神经网络还是一个崭新的、很有前途的 4 第l 章绪论 应用研究方向。 模糊理论和神经网络理论从不同的角度研究人脑智能的特点1 2 6 - - 2 s l 。模 糊理论侧重于在概念、推理上模拟人脑的模糊性与形象思维能力，而神经 网络则侧重于信息的自组织、自学习能力。神经网络的自组织和自学习能 力，使其成为模拟电路故障诊断的一种有效方法。模糊理论对模糊信息的 强大处理能力，使得它成为模拟电路故障诊断的一种有力的工具。近年来， 一个值得重视的现象是基于模糊理论的模糊逻辑系统与神经网络的相互结 合，其结果导致了“模糊神经网络”的出现。模糊神经网络实质上是对人 脑结构和思维功能的双重模拟，即大脑神经网络的“硬件”拓扑结构和模 糊信息处理的“软件”功能的同时模拟。其显著特点体现在它充分吸收了 模糊理论与神经网络各自的优点，并由此来弥补各自的不足。因此，在模 拟电路故障诊断领域，模糊神经网络技术也代表了一个新的方向。 1 4 现存的问题 尽管模拟电路故障诊断已经历四十多年的研究，初步奠定了其理论基 础，但离实用还存在相当的距离。其主要原因是模拟电路故障诊断有其自 身的困难，主要困难有： ( 1 ) 模拟电路的输入激励与输出响应以及网络中各元件参数通常为连续 量，所以模拟电路中的故障模型比较复杂，难以简单的量化。 ( 2 ) 模拟电路中元件参数具有容差，它引起电路工作特性的偏移，增加 了故障诊断的难度。 ( 3 ) 在模拟电路中广泛存在着非线性问题，它既包括网络中非线性元件 引起的问题，也包括线性电路本身存在的诸多非线性问题，为故障的定位 诊断增加了难度。 ( 4 ) 实际的模拟电路中可测电压的节点数非常有限，导致可用于作故障 诊断的信息量不够充分，造成故障定位的不确定性和模糊性。 以往对模拟电路故障诊断的研究主要停留在中小规模、线性、无容差 的情况，如何有效解决模拟电路的容差和非线性问题，如何解决模拟电路 燕山大学工学硕士学位论文 故障诊断的模糊性和不确定性问题等，是本文的主要工作。 1 5 本文的主要工作及结构安排 本文以b p 神经网络为基础，在考虑元件容差的情况下，研究了将小波 神经网络和自适应模糊神经网络用于模拟电路故障诊断问题，并把这两种 方法与b p 神经网络方法进行了比较。具体结构安排如下： 第1 章为绪论部分，概述模拟电路故障诊断研究的意义与发展，简要 介绍模拟电路故障诊断理论方法，阐明现有的诊断方法和研究中的难点， 提出本文要解决的问题。 第2 章主要研究了模拟电路故障诊断的b p 神经网络方法。介绍了神经 网络基本原理，分析了b p 网络的算法原理、不足及其改进方法，并结合实 例详细介绍了基于主元分析预处理的b p 神经网络在容差模拟电路故障诊 断中的应用。 第3 章主要研究了模拟电路故障诊断的小波神经网络方法。提出了一 种以小波基函数为隐层神经元激励函数，使用自适应学习速率及附加动量 b p 算法训练的改进的小波神经网络，将改进的小波神经网络应用于容差模 拟电路故障诊断，并与b p 神经网络的故障诊断效果进行了比较。 第4 章主要研究了模拟电路故障诊断的模糊神经网络方法。提出了采 用t a k a g i s u g e n o 型模糊规则，使用b p 算法与最小二乘法相结合的方法来 训练的集成自适应模糊神经网络，将集成自适应模糊神经网络应用于容差 模拟电路故障诊断，并与b p 神经网络的故障诊断效果进行了比较。 最后，总结了本文所作的研究工作，并对模拟电路故障诊断今后的研 究方向和应用进行了展望。 6 第2 章模拟电路故障诊断的b p 神经网络方法 第2 章模拟电路故障诊断的b p 神经网络方法 模拟电路故障诊断由于没有统一的故障模型、存在元器件容差和非线 性等因素，一直是富有挑战性的工作。神经网络具有解决上述困难的诸多 优势，为模拟电路故障诊断提供了一个良好的解决方案。 2 1 神经网络 神经网络是一种旨在模仿人脑及其功能的信息处理系统 2 0 1 ，可以完成 学习、记忆、识别和推理等人脑功能。它是由大量简单的神经元依据一定 的形式和规则连接组合而成，用以模拟人脑行为的复杂网络系统。利用神 经网络分布式信息储存和并行处理的特点，可以不需要数学建模，来处理 那些有大量示例可供学习，但难以用数学表达式描述的问题。 2 1 1 神经元结构模型及特点 神经元是神经网络的基本处理单元，一般表现为一个多输入、单输出 的非线性器件，通用的结构模型如图2 1 所示。 7 y 燕山大学工学硕士学位论文 y = ，f 窆咐一乩 批1 ( 2 - 1 ) 式中毛，x 2 ，, x n 为输入信号，0 为阈值，w 2 ，表示与神 经元连接的权值，y 为输出信号。 激励函数厂( ) 是一个神经元及网络的核心，常用的激励函数有阈值型、 线性型、s 型( s i g m o i d ) 等。一般地，称一个神经网络是线性或非线性是由 神经元所具有的激励函数的线性或非线性来决定的。 神经网络之所以受到人们如此重视，并在模拟电路故障诊断中得到广 泛应用，主要是因为它具有学习能力、联想记忆能力、非线性映射、分类 识别和知识处理等特点。 目前神经网络模型己有四十多种，从不同的角度有不同的分类。常用 于模拟电路故障诊断的神经网络模型有五种，分别是前向多层误差反传( b p ) 神经网络、自组织特征映射( s o f m ) 神经网络、以自适应谐振理论( a r t ) 构 成的自组织神经网络、h o p f i e l d 神经网络、h a n u n i n g 神经网络。在这五种 神经网络中，b p 神经网络由于具有良好的模式分类能力，尤其适用于模拟 电路故障诊断领域，因而在模拟电路故障诊断系统中具有广泛的应用前景， 也是目前故障诊断领域中用得较为有效的一种神经网络。b p 算法是神经网 络中最为经典的学习方法，b p 神经网络的训练采用有监督的学习方式。因 此有必要对神经网络的分类和学习做一个简要介绍。 从内部信息传递方向来分，神经网络主要有两种类型：前馈型网络和反 馈型网络。 学习方式( 按环境提供的信息多少) 主要分为有监督学习( 有教师学习) 与 无监督学习( 无教师学习) 。 2 1 2 神经网络的故障诊断能力 从本质上讲，模拟电路故障诊断相当于一个模式识别和分类问题，即 把电路运行状态分为正常和异常两类，而异常状态究竟又属于哪种故障模 式，这又是一个模式识别问题。因此神经网络为模拟电路故障诊断提供了 一个全新的解决方案。与其它经典的诊断方法相比较，神经网络在模拟电 第2 章模拟电路故障诊断的b p 神经网络方法 路故障诊断中具有以下显著的优势【3 0 - 3 3 。 ( 1 ) 基于规则的系统这种诊断系统利用编辑后的规则( 即与故障原因 相关的症状) ，实现故障诊断。众所周知，形式是基于规则系统技术的瓶颈， 它限制了该诊断系统在模拟电路故障诊断中的应用。而神经网络在训练阶 段就能自动推导出故障症状和故障原因之间的关系，无需明确的规则形式。 ( 2 ) 基于模型的系统这种诊断系统通常要求掌握电路原理及其模型的 全面知识。对于复杂的大规模集成电路而言，这种方法存在着明显的不足。 神经网络诊断方法则避免计算模拟电路参数和故障建模等问题。 ( 3 ) 专家系统由于模拟电路不能实现很好的建模，特别是在故障状态 下，缺乏适当的领域知识( 或经验) ，因而专家系统方法未能在模拟电路故障 诊断中得到广泛应用。神经网络由于自身的属性，在样本训练阶段可自动 获取知识，提取特征、发现模拟电路故障规律。 ( 4 ) 故障字典方法该方法仅能辨识预先存储在字典中的故障。由于神 经网络具有一定的推理能力，故可以识别那些未明确包含在训练集中的故 障。 2 2b p 神经网络 b p 神经网络是一种最为常用的神经网络，也是目前在模拟电路故障诊 断中应用最多的一种神经网络。 2 2 1 b p 神经网络算法 b p 神经网络算法i 硐的基本思想是：学习过程由信号的正向传播和误差 的反向传播两个阶段组成。正向传播时，输入样本从输入层传入，经各隐 层逐层处理后，传向输出层。若输出层的实际输出与期望输出( 教师信号) 不符，则转入误差的反向传播阶段。误差反向传播是将输出误差以某种形 式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而各 层单元获得误差信号，此误差信号即作为修正各单元权值的依据。这种信 号正向传播与误差反向传播的各层权值调整过程，是周而复始，权值不断 9 燕山大学工学硕士学位论文 调整的过程，也就是网络的学习训练过程。此过程一直到网络输出的误差 减少到可接受的程度，或进行到预先设定的学习次数为止。 由于b p 神经网络有处于中间位置的隐层，并有相应的学习规则可循， 可通过训练这种网络，使其具有非线性模式的识别能力。特别是它的数学 意义明确、步骤分明的学习算法，使其具有广泛的应用前景。 下面以一个三层b p 神经网络模型为例，介绍b p 算法学习规则的原理。 图2 - 2 为一个三层b p 神经网络模型。第一层网络的输出是第二层网络的输 入，第二层网络的输出是第三层网络的输入。每一层可以有不同数目的神 经元，同一层上的各神经元之间无耦合连接关系，信息从输入层开始在各 层之间单向传播，依次经过各隐层神经元，最后达到输出层神经元。 x 1 x 2 y m 图2 - 2b p 神经网络模型 f i g 2 - 2t h e m o d e lo f b p n n 下面具体介绍一下b p 算法的推导过程嘲，设在第盯次迭代中的第j 层 的第，个神经元的实际输出为y ：( n ) ，期望输出为d ：( 行) ，则该神经元的误 差信号为： 一( 聍) = ( n ) 一( 栉) ( 2 - 2 ) 定义第，层的_ ，个神经元的的平方误差为妄叫( 行) 一( 玎) 】2 ，则第，层神经元 输出的总的平方误差的值为： 1n e ( 刀) = 去【彰( 肝) 一( ”) 】2 ( 2 - 3 ) 二，= l 式中为第，层所有输出神经元数，e ( 胛) 为学习的目标函数。 至! 兰堡型皇堕垫堕堡堑塑呈! 塑丝旦竺互鎏 学习的目标是使e ( ”) 达到最小( 或规定的误差范围) ，e ( n ) 是网络所有 权值和阈值以及输入信号的函数。 设( 押) = 。( ) ，) ，；。1 0 ) 是第珂次迭代中的第，一1 层的第f 个神 经元的输出，v g n ) 是第竹次迭代中的第，层的第_ ，个神经元的输入，p 为第 l - 1 层的神经元数，( 一) 为连接，层的第j 个神经元和第，一1 层第f 个神经 元的权值，j f ( ) 为第 次迭代中第，层神经元第_ ，个神经元的激励函数，则 y ：( 胛) = z ( v j ( n ) ) 。 由偏微分法可求得e ( 疗) 对u ，的梯度： 筹= 器糍鬻等 - , 4 十 ，l 跏，& ：( 胛) 砂：( 疗) 却：( 胛) 却，( 疗) 、7 酌嚣叫，豢叫，端彩( ，篇吼m 所以 若蔫胁j - l ( 胛) ( 棚 ( 2 _ 5 ) 权值修正量为： 吨= 1 等蔫叫胁， ( 2 - 6 ) 式中 怙一器鬻鬻鼍i “) ( 2 - 7 ) 负号表示修正量按梯度下降方向，彰( ) 表示局部梯度。 b p 算法的关键是求出局部梯度，下面分两种情况分别讨论。 当第，层是输出层时，由公式( 2 2 ) 和公式( 2 7 ) 得 6 j ( 力) = ( 衫( 月) 一y ：( n ) ) ( v ：( n ) ) ( 2 8 ) 当第，层是隐层时，由公式( 2 7 ) 可得 翌坐态兰三兰堡主兰竺笙苎 6 胁一器乃蟛) 设v ( 胛) = 膏矿( 一) ，y ：( 行) 是第n 次迭代中的第，层的第，个神经元 的输出，v 1 ( 疗) 是第刀次迭代中的第，+ 1 层的第七个神经元的输入，m 为第 l + 1 层神经元数，w 旬( 刀) 为第疗次迭代中连接j + - 1 层的第j j 个神经元和第， 层的第j 个神经元的权值；f “( ) 为第，+ 1 层神经元的第| 个神经元的激励 函数，则站1 ( 疗) = z “( v 0 ) ) ；第 次迭代中的第，+ 1 层的第_ | 个神经元的 实际输出为y 1 0 ) ，期望输出为d ( 疗) ，则该神经元的误差信号为： p 1 ( 珂) = d p l ( ”) 一) ，1 ( ”)( 2 1 0 ) 则第，+ 1 层神经元输出的总的平方误差的值为： e ( 珂) = 1 “掌f 。r # 女l + 1 ( 栉) 一珐1 ( 胛) 】2 ( 2 - 1 1 ) 将上式对y j ( 栉) 求导可得 丽o e ( n ) = 器韶 砂：( ”)加f 。( 珂) 砂：( 仃) 、 因为 票黑：笔等豢一1 + 1 ( 丹) ) ( 2 - 1 3 ) 加f 1 ( 咒)砂 1 加 1 “、”7 黛：兰啪) ( 2 - 1 4 ) 钞：( 挖)名”。 、7 听i + 1 = 一矸o g ( 丽n ) ( 2 。1 5 ) 口v l 刀j 所以 器= 嵩啪蜘) f “帅) ) = 一萎m 咖啪”) ( 2 1 6 ) 由公式( 2 - 9 ) 和公式( 2 - 1 6 ) ，可得 占如) = ( n ) 庞( 咖? ( n ) ( 2 一1 7 ) 第2 章模拟电路故障诊断的b p 神经网络方法 求出各层的局部梯度6 ( 哟后，可按公式( 2 6 ) 修正网络所有权值和阈值。在 实际应用中，学习时输入训练样本，每输入一次全部训练样本称为一个训 练周期，学习要一个周期一个周期地进行，直到目标函数达到最小值或某 一给定值。 b p 神经网络的学习算法可简单描述如下。 ( 1 ) 在已知网络结构的基础上确定各学习参数，包括输入层、隐层和输 出层神经元的个数，学习率 以及误差参数。 ( 2 ) 初始化网络的权值和闽值，一般赋予区间1 1 内的随机值。 ( 3 ) 提供学习样本：输入向量和目标向量。 ( 4 ) 开始学习，对每一个样本进行如下操作。 第一步，前向计算，对第，层的第，个神经元 一( 雄) = ( h ) y ：4 ( 玎) ( 2 - 1 8 ) 式中y ，( ”) 表示第，一1 层的第i 个神经元传来的信号( f = 0 时，詈y o t - 1 = 一1 ， w t o ( 玎) = p ：( h ) ) 。 若神经元，的激励函数为s i g m o i d 函数，则 y 2 百面丽( 2 - 1 9 ) 且 巾如) ) - 裟- - 1 i 州】( 2 - 2 0 ) 若神经元，属于第一隐层( f = 1 ) ，则有j ，? 0 ) = x j ( 珂) 第二步，反向计算6 ，当第，层的第，个神经元为输出层神经元时 彰= p ；( 疗) y ：加) 1 一( 功】 ( 2 2 1 ) 第，层的第_ ，个神经元为隐层神经元时 6 j ( 以) = y j ( 1 一y ：废( 胛p f l ( 栉) ( 2 - 2 2 ) 第三步，按下式修正权值 w 业( 胛+ 1 ) = w ，j ( 胛) + 叩6 j ( 疗) j ，f 1 ( ，z ) ( 2 - 2 3 ) 鲞生盔堂三兰堡主兰堡堡苎 ( 5 ) 输入新的样本，直至达到误差要求，训练时各周期中样本的输入顺 序要重新随机排序。 2 2 2b p 算法的不足及改进 b p 算法实质上是把一组样本输入输出问题转化为一个非线性优化问 题，并通过梯度算法利用迭代运算求解权值问题的一种学习方法，己证明， 具有s i g m o i d 非线性函数的三层神经网络能以任意精度逼近任何连续函数。 但它在实际计算过程中，还存在如下几个问题1 3 6 。 ( 1 ) 收敛速度比较慢对一些复杂的问题，b p 算法需要进行几小时甚至 更长时间训练。 ( 2 ) n 络无法训练网络隐层神经元数目的选取和连接权初值w 的选取 往往靠经验。当权值调得过大时，可能使得所有的或大部分神经元的加权 输入和过大，使得激励函数的输入工作在s 型激励函数的饱和区，从而导 致其导数非常小而使网络的权值调节过程几乎停顿下来，使得网络无法训 练。 ( 3 ) 存在局部能量最小值b p 算法可以使网络权值收敛到一个解，但它 不能保证所求为误差超平面的全局最小解，很可能是一个局部极小解。这 是因为b p 算法采用的是梯度下降法，训练是从某一起始点沿误差函数的斜 面逐渐达到误差的最小值。对于复杂的网络，其误差函数为多维空间的曲 面，就象一个碗，其碗底是最小值点。但是这个碗的表面是凹凸不平的， 因而在对其训练过程中，可能陷入某一小谷区，而这一小谷区产生的是一 个局部极小值。由此点向各方向变化均使误差增加，以致于使训练无法逃 出这一局部极小值。 为了加快b p 算法训练速度，避免陷入局部极小值和改善算法的有效 性，改进的b p 算法的通常方法有。 ( 1 ) 加入动量项基于b p 算法的神经网络，在学习过程中，只需要改 变权值，而权值是和权值误差导数成正比的，但真正的梯度下降方法要求 所取的间隔无限小。比例系数是学习过程的速率，它是一个常数。若能选 择合适的速率，使它的值尽可能的大但又不至于引起振荡。这样就可以为 1 4 第2 章模拟电路故障诊断的b p 神经网络方法 系统提供一个最快的学习，增大学习速率而又不导致振荡的方法，就是修 改反传中的学习速率，使它包含有一个动量项，具体说，就是每个加权调 节量上加上一项正比于前次加权变化量的值( 即本次权值的修改表达式中引 入前次加权的权值修改) 。这就要求每次调节完成后，要把该调节量记住， 以便在下面的加权调节中使用。带有动量项的加权调节公式为： a w ( n + 1 ) = ( 1 一埘咖罢兰婴+ m c a w ( 一) ( 2 2 4 ) a w ( n ) 式中m c 为动量系数，一般取0 9 左右。 ( 2 ) 自适应学习速率对于一个特定的问题，要选择适当的学习速率不 是一件容易的事情。通常是凭经验或实验获取，但即使这样，一对训练开 始初期功效较好的学习速率，不见得对后来的训练合适。为了解决这一问 题，人们自然会想到在训练过程中，自动调整学习速率。通常调节学习速 率的准则是：检查权值的修正值是否真正降低了误差函数，如果确实如此， 则说明所选取的学习速率值小了，可以对其增加一个量；若不是这样，而 产生了过调，那么就应该减小学习速率的值。下式给出了一种自适应学习 速率的调整公式： 似邶= 鼢端渤 p 2 s ， 当其他情况时： n ( n + 1 ) = 叶( 珂)( 2 - 2 6 ) 式中7 7 ( 疗) 为自适应学习速率，a ，卢分别为学习速率的调节系数。初始学 习率叼( o ) 的范围可以有很大的任意性。 附加动量法使反向传播减少了网络在误差表面陷入低谷的可能性并有 助于减少训练时间。太大的学习速率会导致学习的不稳定，太小的学习速 率又会导致极长的训练时间，自适应学习速率通过在保证稳定训练的前提 下，达到合理的高速率，可以减少训练时间。此外，改进的b p 算法的方法 通常还有拟牛顿法、共轭梯度法和l e v e n b e r g m a r q u a r d t 等等。文献【3 7 】较 为综合的探讨了b p 算法的改进，文献 3 8 ，3 9 ，4 0 将改进的b p 算法应用于故 障诊断系统。对于不同的问题，很难比较算法的优劣。而对于特定的问题， 燕山大学工学硕士学位论文 一种通常较好的方法有时却可能不易获得良好的训练效果，甚至可能出现 难于收敛的预定目标的情况。因此，在解决实际问题时，应尝试把几种不 同的算法结合起来使用，以期获得满意的结果。 2 3 b p 神经网络在模拟电路故障中的应用 模拟电路发生故障时，网络输出的响应会发生变化，依据响应的大小 可以反映出模拟电路的状态，但是故障信息与响应之间的关系难以用精确 的数学表达式来描述，将神经网络应用于模拟电路故障诊断中得到了很好 的效果。文献 3 4 1 已证明：只要隐层神经元有足够的数量且激励函数足够光 滑，单隐层前向神经网络能以任何精度逼近任意连续函数。因此，如果能 够构造适当的神经网络，选取适当的输入量和输出量，使得模拟电路故障 的规律转化为输入对输出的映射问题，神经网络就能应用于诊断模拟电路 故障。 2 3 1 具体步骤 故障诊断的模式识别方法主要根据测试数据对故障分类从而达到故障 定位的目的。在考虑到实际模拟电路中元件容差会影响电路的故障特征值， 选取具有较好的鲁棒性和容错性的b p 神经网络作为分类器。使用b p 神经 网络分类器时，一般要给b p 神经网络提供每一模式类中许多样点作为训练 样本，通过学习，b p 神经网络不仅能识别已训练过的样本，而且能识别未 出现过的样本，这种能力称为泛化能力。一般要用大量训练样本训练b p 神 经网络以便获得较好的泛化能力。 在用b p 神经网络实现故障诊断时，相当于在b p 神经网络中建立故障 字典，因此，用b p 神经网络实现模拟电路故障诊断的基本步骤与故障字典 法的步骤有相似之处，故障字典法的步骤可参见文献【2 】。结合故障字典法 训练一个b p 神经网络来进行模拟电路故障诊断有下列步骤。 2 3 1 1选择故障集选择故障集实际上是确定可诊断的故障集。在一般电 路中，硬故障约占电路故障率的8 0 ，其中5 0 嗡0 是电阻开路、电容短 1 6 第2 章模拟电路故障诊断的b p 神经网络方法 路和晶体管开路或短路，因而一般只考虑电路中的元件硬故障。由于电路 中的元件数较多，多故障的组合数很大，因此罗列出所有单故障和多故障 是不现实的。比较实际的方案是根据被测电路的特点和以往的经验及元件 的故障率来选择若干单故障或多故障作为故障集。本文只研究元件硬故障 中的单故障。 2 3 1 2 选择激励信号和检测节点一般选择与实际工作相似的输入信号 作为激励信号。但为了充分隔离故障集中的所有故障，通常需要将多种信 号的组合信号作为选定的激励信号。目前还没有对激励信号选择的通用算 法，通常根据电路的特点及对电路的了解程度，逐步试探以选择能够隔离 故障集中所有故障的激励信号。 检测节点选取的一般原则是。 ( 1 ) 选择可以诊断出多个故障并对故障检测隔离能力强的检测节点，且 尽可能的选择电路的输出节点为检测节点。 ( 2 ) 在不能满足故障隔离要求的情况下，应增加检测节点数，且尽可能 的选择受故障影响大的可及节点为检测节点。 ( 3 ) 检测节点的检测不应影响被诊断系统的正常工作和性能。 ( 4 ) 在缺乏经验的情况下，可先选择全部或大部分可及节点作为检测节 点。 ( 5 ) 在模拟所有故障之后，在满足故障隔离要求的前提下，通过适当的 隔离算法减少检测节点的数目，以减轻数据采集系统的工作量。 2 3 1 3 构造典型样本集当电路发生故障时，各检测节点电压的变化反映 了故障特征，由此可以构造出反映电路故障状态的特征向量。针对模拟电 路故障诊断的特定情况，通常可根据各检测节点电压的曲线来区分电路中 不同故障模式。通过对检测节点电压的曲线按一定间隔采样，来获得故障 特征数据。在电路中各元件具有容差的情况下，对应于电路的各种可能硬 故障状态，测得的特征向量分布在非故障元件取标称值时的典型特征向量 p 为中心的子空间q 中。利用b p 神经网络所具有的容错性，在分类时可将 典型特征训练样本周围一定范围内的样本归为类。通过p s p i c e 电路分析 软件模拟计算得到电路故障的数据，分成训练样本数据和测试样本数据。 1 7 燕山大学工学硕士学位论文 所谓输出量实际上是指为神经网络训练提供的期望输出，一个网络可 以有多个输出变量，其表示方法比输入量简单得多。通常用0 和l 来表示 某一元器件的正常和故障状态。 目前常用的有以下几种方法。 ( 1 ) “n 中取1 ”表示法如待测电路状态有正常、r l 开路、c 1 短路、 r 2 开路4 种故障模式。“1 1 中取l ”是令输出向量的分量数等于类别数，输 入样本属于哪一类，对应的输出分量取1 ，其余n - 1 个分量全取0