（电气工程专业论文）基于小波包和支持向量机的模拟电路诊断研究.pdf

基于小波包和支持向量机的模拟电路诊断研究 摘要 模拟电路测试和故障诊断自二十世纪六十年代以来，一直是热门研究课题， 至今已取得了诸多显著的理论成果，但由于模拟电路元件的非线性、具容差及其 故障现象的多样性等使得其诊断问题极其复杂，现有诊断理论与方法距实际应用 尚有一定的差距。目前，小波包变换理论和支持向量机的研究与应用成为新的研 究热点。小波包技术作为信息处理的有力工具，其与支持向量机等相结合，为解 决模拟电路故障诊断中的诸多难题提供了可能。本文主要目的在于将模拟电路故 障诊断与小波包、支持向量机方面的最新研究成果相结合，探索解决模拟电路故 障诊断问题的有效途径。 本文首先对模拟电路故障诊断理论的研究现状进行了综述，针对模拟电路故 障诊断的特征提取和故障分类这两大问题，分别阐述了小波包分析和支持向量机 的基本理论，着重研究了小波包分析和支持向量机在模拟电路故障诊断中的应用， 然后应用小波包分析方法和引入一种多层动态自适应优化参数的最小二乘支持向 量机方法分别对电路故障情况进行分类，并用仿真实验说明了其具体实施。 为了解决模拟电路故障诊断中的特征提取困难并对模拟电路故障信号进行有 效的分类，本文提出了一种基于模糊优化小波包分解的模拟电路故障特征提取算 法，在此基础上，提出了结合模糊最优小波包和最小二乘支持向量机( l s s v m ) 的模拟电路诊断方法。该法首先对模拟电路的响应信号进行小波包分解，并引入 模糊准则对其优化，得到由分类能力强的最优小波包基能量值构成的特征集，然 后将特征集输入l s s v m 网络，以实现对不同故障类型的识别。小波包的优化分 解减小了l s s v m 网络的规模，从而降低了算法复杂度，加快了网络的训练时间 和分类速度。模拟诊断实例表明，此方法能快速准确地实施模拟电路的故障定位。 关键词：故障诊断；模拟电路；小波包分解；模糊规则；最小二乘支持向量机 a b s t r a c t a n a l o gc i r c u i tf a u l td i a g n o s i sh a s b e e n a n a c t i v ea r e as i n c et h e19 6 0 sw l t hm a n y s i g n i n c a n tw o r ka n dm e t h o d s c a r r i e do u t u n f o r t u n a t e l y ，t h e p r o 鲈e s so ta n a l o g c i r c u i tf a u l td i a g n o s i s f r o mt h e f u n d a m e n t a lt h e o r y a n dm e t h o d s t o p r a c t l c a l a p p l i c a t i o nh a sb e e nh a m p e r e db ym a n yf a c t o r ss u c h a sn o n l i n e a re f f e c t s ，c o m p o n e n t t o l e 舢c e s ，p o o rf a u l tm o d e l se t c a tp r e s e n t ，t h e s t u d ya n da p p l i c a i o no f wa v e l e p a c k e ta n ds u p p o r tv e c t o rm a c h i n eh a sb e c o m et h er e a s e a c hh o t s p o t i nt h e 删do t f a u l td i a g n o s i s i ti sr e s e a r c h e dw i t ht h eh o p et h a ta p p l i c a t i o n o fw a v e i e p a c k e a n d s u p p o r tv e c t o rm a c h i n e t ot h ea r e ao fa n a l o gc i r c u i td i a g n o s i sm a ya c h l e v e s b e t t e r r e s u l t s t h em a i np u r p o s eo f t h i sp a p e ri st oc o m b i n el a t e s tr e s e a r c hf o rt h e wa v e l e t p a c k e ta n ds u p p o r tv e c t o rm a c h i n ew i t ha n a l o gc i r c u i t f a u l td i a g n o s l sl no r d e r t o e x p l o r ean e ww a y f o rs o l v i n gt h ep r o b l e mo fa n a l o gc i r c u i tf a u l td l a g n o s l s t h i sp a p e rf i r s t l yg i v e s ad e s c r i p t i o nf o ra n a l o gc i r c u i t f a u l td i a g n o s l s ，t h e n r e p r e s e n t st h ep m i p l eo fw a v e l e tp a c k e t a n a l y s i sa n ds u p p o r tv e c t o rm a c h l n e r e s p e c t i v e l y a i m i n g a tt h et w oi s s u e “n c l u d i n g f e a t u r ee x t r a c t i o n a n d 怯m 二 c l a s s i 6 c a t i o no fa n a l o gc i r c u i t f a u l td i a g n o s i s ，a n d f o c u s e so nt h ea p p l i c a t l o n o l w a v e l e tp a c k e ta n a l y s i sa n ds u p p o r t v e c t o rm a c h i n ei na n a l o gc i r c u i tf a u l td l a g n o s l s a l s o ，t h i sp a p e ra p p l i e s t h ew a v e l e tp a c k e t a 彻l y s i sm e m 甜锄d l 朗吼s q 岫：e ： s u p p o r tv e c t o rm a c h i n e m e t h o dw h o s ep a r a m e t e r sa r eo p t i m i z e d b ya m e t h o dc a i i e d m u l t i 1 a y e ra d a p t i v eb e s t f i t t i n gp a r a m e t e r ss e a f c hr e s p e c t i v e l y t oc l s s i f y i n g h et a u l t s oa st od e s c r i b et h ep e r f o r m a n c eo f t h em e t h o d sb yt w od i a g n o s t l ce x a m p i e s i no r d e rt os o l v et h ed i m c u l t i e si nt h e f e a t u r ee x t r a c t i o na n dc l a s s l l l c a t l o n o l f a u l ts ig n a l si na n a l o gc i r c u i t s ，t h i s p a p e rn r s tp r e s e n t s an e wf e a t u r ee x t r a c t l o n a l g o r i t h m b a s e do no p t i m a lw a v e l e tp a c k e tc o m b i n e d w i t hf u z z y r u l e ih e n an e w d i a g n o s i sm e t h o dc o m b i n e dw i t ht h e f e a t u r ee x t r a c t i o n a l g o r i t h ma “l e a s t s q u ，r e s u p p o r tv e c t o rm a c h i n e ( l s s v m ) i sp r o p o s e d t h e r e s p o n s es i g n a l s o fa n a i o g c i r c u i t sa r ep r e p r o c e s s e d b y w a v e l e tp a c k e t t 啪s f o r m a n dt h 讣崛z y 灿k1 8 邯酣t 0 6 n dt h eo p t i m a l w a v e l e tp a c k e t c o e m c i e n to fw h i c h c l a s s i n c a t i o nc a p a c l t y 1 s b e t t e r t h e n ，t h ef e a t u r es e tw h i c h i sc o m p o s e do ft h eo p t i m a lw a v e l e tp a c k e te n e r g y l s i n p u t t e di n t oal s s v m n e t w o r kt oi d e n t i f yd i f 代r e n tf a u l tc a s e t h eo p i m a l wa v e l e p a c k e tt r a n f o r mc o m b i n e dw i t hf u z z y - r u l ec a n d e c r e a s et h el s s v m n e t w o r ks l z e w h i c hi sh e l p f u l t or e d u c ea 1 9 0 r i t h m c o m p l e x i t y a n da c c e l e r a t el e a r n l n g a n a n i 基于小波包和支持向量机的模拟哇三路诊断研究 c o n v e r g e n c es p e e d t h ed i a g n o s t i ce x a m p l ei l l u s t r a t e st h i sm e t h o di se f f e c t i v ea n d a c c u r a t ef i o rf l a u l tl o c a t i o no fa n a l o gc i r c u i t s k e y w o r d s ：f a u l t d i a g n o s i s ；a n a l o gc i r c u i t ；w a v e l e t p a c k e t t r a n s n d r m ；f u z z y r u l e ；l e a s ts q u a r e s s u p p o r tv e c t o rm a c h i n e 硕+ l ：学位论文 第1 章绪论 1 1 课题研究背景及其意义 模拟系统的测试与诊断课题自六十年代开始研究，发展至今已成为网络理论 中公认的第三大分支。随着大规模集成电路的发展，为了提高系统的安全性和可 靠性，故障诊断技术越来越受到人们的重视，成为各界研究的热点方向之一。模 拟电路广泛应用于军工、航天、通讯、自动控制、测量仪表、家用电器等各个方 面，随着电子技术的飞速发展，模拟电路的复杂度与密集度不断地增长，从而对 其运行可靠性的要求也日益提高，尤其在军工、航天等部门，对电子设备运行可 靠性的要求更为严格。在模拟电路发生故障后，要求能及时将故障诊断出来，以 便检修、调试、切换。就模拟电路生产工厂而言，也要求能诊断出故障，以便分 析原因，改进工艺，提高成品合格率。然而对于模拟电路，由于模拟电路中的输 入激励和输出响应都是连续量，网络中的各元件的参数通常也是连续量，所以模 拟系统中的故障模型比较复杂，难以作简单的量化；此外，模拟电路中的元件参 数容差的存在导致实际故障的模糊性也使得模拟电路的故障诊断较数字电路的故 障诊断复杂得多，其发展比较缓慢，至今模拟电路的诊断无论在理论上还是技术 上均未成熟，模拟电子电路的诊断仍基本依靠人工完成，其通常是对怀疑发生故 障的元件割断其前后联系，通电测试其可及节点电压，判断其是否故障。但这种 方法不仅测试过程繁琐，测试工作量大，而且在大多情况下是不允许进行这种破 坏性诊断的。为保证产品的质量与可维护，提高系统的稳定性，亟待实现模拟电 路故障的自动诊断。 模拟电路故障诊断不仅是微电子技术中的一个重要课题，同时也是网络理论 的一个重要课题。而模拟电路故障诊断的主要任务是：在己知网络的拓扑结构、 输入激励信号和故障下的响应时，求解故障元件的物理位置或参数。开展这一领 域的研究，不仅对促进近代电路理论的发展有着强大的推动作用，而且其研究成 果还将丰富相关学科如人工智能科学与计算科学等的应用研究。 综上所述，工业生产对模拟电路有了更高的要求，微电子技术的迅猛发展对 模拟电路故障自动诊断提出了急迫的需求，近代电路理论亦在渴望着模拟电路故 障诊断这一前沿研究领域取得突破性进展以推动学科发展跃上新台阶，这就迫使 科学人员进一步探索新的模拟电路测试理论和方法。因此，进一步探索模拟电路 故障诊断理论、研究实用性强的故障诊断方法并研制其测试设备及软件已迫在眉 睫。 基于小波包和支持向量机的模拟l 乜路诊断研究 1 2 模拟电路诊断技术的发展及现状 模拟电路的故障诊断起源于六十年代，最早发表这方面文章的有 s d b e d r i s i a n 和r s b e r k o w i t s ，r s b e r k o w i t s 提出的模拟电路诊断的可解性概念 拉开了模拟电路故障诊断理论研究的序幕乜1 ，但是它变成一个活跃的研究领域却 是在七十年代。二十世纪七十年代末，国际上掀起了模拟电路故障诊断的热潮， l9 7 9 年国际电气电子工程师协会电路与系统学报出了模拟电路故障诊断特刊，刊 登了这一时期提出的各种不同的故障诊断原理和方法口喝1 。19 8 5 年b a n d l e rj w 在 i e e e 上发表了关于模拟电路故障诊断的特邀文章，对到当时为止的模拟电路故 障诊断的理论做了全面综述。 八十年代以来，多故障诊断的研究已成为主流6 叫引，多故障诊断法一般只需 要少量的可及节点，其中有代表性的方法有k 故障诊断法和故障参数识别法等。 同时，在解决大规模电路的诊断问题时撕裂技术得以应用，网络分解方法哺- 1 3 叫钉 也越来越受到关注。此外，由于电路的结构对故障诊断方法的有效性有很大的影 响，使得可测性设计的研究n 5 16 1 也日益得到重视，几乎所有后来提出的方法都力 图用拓扑的术语给出其可诊断条件，并用以转变为相应的可测性设计准则。至八 十年代木，这一领域的研究成果主要集中在解决线性网络在无容差或小容差情况 下的诊断理论与方法上。 九十年代以后，人们对于故障诊断理论的研究更加深入，各种方法相互渗透 和融合，理论应用的领域也有了很大的扩展。对于非线性系统的故障诊断有了更 多的研究，且使用神经网络、模糊逻辑及组合的故障诊断方法在明显的增加。随 着人工智能技术的迅速发展，特别是知识工程、专家系统、人工神经网络在诊断 领域中的进一步应用，迫使人们对智能诊断问题进行更加深入与系统的研究。还 出现了非网络理论的诊断方法，比较典型的是红外成像诊断法。这些方法广泛应 用于电路故障诊断的研究中，为模拟电路故障诊断开辟了新的途径。 近十年来，国内外学者把更多精力放在了软故障的诊断心7 1 、电路可测性的改 善，故障特征信息的最优提取以及改良诊断方法的鲁棒性等研究上，表现在基于 专家系统n 、遗传算法n 铲2 0 1 、神经网络心卜2 引、模糊理论心4 。2 引、小波变换心8 。3 3 1 、支 持向量机算法卜3 等理论发展起来的新方法成为现代模拟电路故障诊断方法的代 表和主流，并取得了丰富的成果。 基于神经网络的故障诊断 神经网络通过模拟人脑结构来实现对人脑信息处理功能的模拟，并模拟来解 决工程实际问题，它是一个广泛连接的巨型系统，能分布式存储信息，具有并行 处理功能和自学习、自组织和自适应功能。神经网络技术的出现，为故障诊断问 题提供了一种新的解决途径。特别是神经网络的泛化能力和非线性映射能力，使 之能够更好的适用于解决模拟电路故障诊断中的容差和非线性问题。 硕f ：学位论文 基于模糊理论的故障诊断 模糊集合、模糊运算、模糊逻辑系统对模拟信息具有强大处理能力，所以模 糊理论称为故障诊断的一种有力的工具，因为在许多故障诊断问题中，故障诊断 的机理非常适合用模糊规则来描述。文献【2 6 】中提出一种模糊数学用于容差电路 的新方法，并通过软故障字典自动生成”i f t h e n ”规则模糊系统作为故障分类器， 并和基于径向基函数神经网络的分类器做比较；文献【2 7 】中将电路故障状态和正 常状态时各测试节点的电压值差模糊化，然后以电压偏差值对应的隶属度和所对 应的故障类型作为训练神经网络的样本，建立从故障特征到故障类型的非线性函 数。其中将模糊理论与神经网络相结合组成模糊神经网络，充分吸收了模糊理论 和神经网络各自的优点，并以此来弥补各自的不足，神经网络技术可以大大改善 诊断知识表达中的困难，再结合模糊理论进行不精确的推理，基于知识的诊断系 统将兼有逻辑推理、学习联想、数值计算、符号运算等优良特性，性能得到极大 的提高。 基于小波变换的故障诊断 小波与神经网络的结合，是一个十分活跃的研究领域。小波与神经网络结合 有两种途径：比较典型的是利用小波分析对信号进行特征提取，然后用神经网络 学习与分类，即辅助式结合；另外是把小波变换嵌套到神经网络中，形成小波神 经网络或小波网络，即嵌套式的结合。小波神经网络是小波理论的局部特性与神 经网络的自学习特性相结合的产物，在小波基础上发展来的小波包变换为模拟电 路故障特征的提取提供了更为有效的方法。 基于支持向量机技术的故障诊断 支持向量机( s v m ) 在进行故障模式识别时以能最大限度的挖掘隐含在有限 样本数据中的分类信息、将分类问题转化为一个二次规划问题保证得到全局最优 解和巧妙地通过非线性变换将原空间中的非线性问题转化为高维空间的线性问题 而见长，是近两年模拟电路故障诊断中模式分类识别的热点口卜3 引。文献【3 5 】提出 了用最优小波包和支持向量机结合的模拟电路故障诊断方法；文献【3 6 】采用自适 应的小波包分解提取电路故障特征，再应用s v m 进行故障分类。这些研究都提 高了电路的可诊断性和诊断准确率。而在支持向量机基础上发展而来的最小二乘 支持向量机( l s s v m ) 也是近几年模拟电路故障诊断分类识别的热点。 模拟电路故障诊断的研究尽管已取得了许多显著的阶段性理论成果，但由于 可及节点有限与网络的拓扑结构等制约了电路的可诊断性与诊断方法的适用性， 电路元件具容差、广泛非线性及故障现象的多样性等使得现有诊断理论与方法难 以解决实际电路的诊断问题，至今国际上尚未出现能得以广泛应用的有效渗断方 法及其软件，要获得突破性的进展从而形成成熟的应用技术，还需要更具创新性 的研究和大量细致的完善工作。随着国民经济的迅速发展，人们对电子设备的故 幕于小波包和支持向量机的模拟i 乜路诊断研究 障有了更新的认识，为了避免或尽量减少故障引起的经济损失，对电子设备特别 是对模拟电路设备故障诊断的研究已经引起了各个国家的足够重视，电子设备故 障诊断技术已成为世界范围内的一个研究热点。因此，进一步探索模拟电路故障 诊断理论、研究实用性强的故障诊断方法并研制其测试设备及软件已迫在眉睫。 1 3 模拟电路故障诊断方法的分类 模拟电路的故障诊断方法很多，并各有其特点，从不同的角度有不同的分类 方法。如按故障诊断的环境区分，可分为在线诊断和离线诊断；按被测试电路性 质，可分为线性电路故障诊断与非线性电路故障诊断；按故障诊断的目的，可分 为故障检测法、故障定位法与故障识别法；按诊断所采用的测试信号区分，可分 为工作信号法与仿真信号法、单测试信号法与多测试信号法、单频信号法与多频 信号法、电量信号测试法与非电量信号测试法等旧1 。 较常见的分类方法是依据电路的仿真是在实际测试的前或后来区分，将其分 为测试前模拟法、测试后模拟法以及介于两者之间的逼近法和智能化方法等阳1 。 测前模拟诊断 测前模拟诊断分为故障字典法和似然法。其中，故障字典法是目i j 模拟电路 故障诊断中最具有实用价值的方法。它的基本思想是：首先提取电路在各种故障 状态下的电路特征，然后将电路特征与故障样式的一一对应关系列成一个字典。 在实际诊断时只要获取电路的实时特征，就可以从故障字典中查出此时对应的故 障。字典法不仅对线性电路适用，对非线性电路也适用。但是，字典法只作硬故 障的诊断，对于少量软故障也是转化成硬故障的形式处理，而且在实际使用中只 用来解决单故障。 测后模拟诊断 测后模拟诊断的典型方法主要有元件参数辨识法和故障验证法。参数辨识法 是在取得足够的独立数据后，根据网络的结构去估计或求解网络中每个元件的参 数。由于一般网络所包含的元件或模块数较大，且方程多为非线性方程，所以， 求解这些方程是很艰巨的工作。此外，由于这些工作都是测试后进行的，实时性 很差。虽然现在己有一些成熟的方法将其中的非线性方程转换成线性方程，但由 于同时增加了许多中间变量，方程个数也有相应的增加，所以，总的计算量仍是 可观的。 故障验证法的基本思想是在获取少量故障信息的基础上，预先猜测电路中的 故障所在，然后根据所测数据去验证这个猜测是否讵确。该方法实施较为方便， 且具有较好的实用前景，因此引起许多学者的兴趣，所取得的研究成果也比较多。 由于电路中总的故障种数较大，而各种故障的组合数则更大，因此，这种“猜测” 的次数很多，且计算量非常大。对这种方法的研究主要集中在如何减少猜测次数， 硕l j 学位论文 以及减少对每次猜测进行验证所需要的工作量。此种方法包括k 故障诊断法、失 效定界诊断法和网络分解法等。在进行故障诊断时，应满足各自的可测性条件， 即被测网络的拓扑结构应满足一定的约束条件，施加的独立激励向量应有足够的 数量，可及节点数至少大于故障数，而且应该独立。否则，会出现误诊断或不能 诊断出故障等情况。 逼近法和人工智能 逼近法和人工智能法都介于测前模拟诊断和测后模拟诊断之间。逼近法包括 测前模拟法的概率统计方法和测后模拟法的优化方法。概率统计方法是依据统计 学原理，根据测量数据和系统参数值的分布，决定电路或系统中各元件发生故障 的概率，从而判断出最可能的故障元件，该法适用于小偏差、单软故障的诊断。 优化法用于软故障诊断，其思想是采用适当的目标函数，估计出最可能出现故障 的元件。虽然这些方法大多数能用来诊断多故障，但存在在线计算量大等缺点。 人工智能法最典型的代表是专家系统。专家系统包括测前模拟诊断中的故障 特性的收集和处理过程，以及测后模拟中的故障推理搜索等过程。该方法具有效 率高等特点，同时，为那些运用网络理论难以诊断的场合开辟了一条新路径。 1 4 小波分析在电路诊断中的应用 目前小波变换在故障诊断领域中的应用已经引起了广泛注意，许多学者投入 到这方面的研究。由于小波分析非常适合于分析非平稳信号，因此小波分析可作 为故障诊断中信号处理的较理想工具，由它可以构造故障诊断所需的特征或直接 提取对诊断有用的信息。小波变换属于线性变换，无干扰项，它具有多分辨分析 的特点，即时频分辨率可变，具有“变焦”特性，因此具有对非平稳信号局部化 分析的突出优点，有良好的时频定位功能，很适合探测正常信号中央带的瞬态反 常现象并展示其成分，因此，在机械设备和电路电子设备及系统中，利用小波变 换进行动态系统故障检测与诊断具有良好的效果。小波变换在故障诊断中应用主 要包括奇异信号检测、信噪分离和频带分析三个方面。泔1 。 利用小波变换的多分辨率分析，基于信号和随机噪声在小波变换域中不同的 模极大值系数特征，不但能提取信号和噪声在多尺度分辨空间中的波形特征，而 且能根据表征该特征的小波系数模极大值传播特性的不同，来实现对信号波形的 有效检测。这样既避免了矩阵运算，降低了运算量，又能在获得一定改善信噪比 增益的同时，保持对信号波形细节有较好的分辨率，并且对待检测信号形式不敏 感。此外小波分析具有良好的时频定位特性及对信号的自适应能力，能够对各种 时变信号进行有效的分解，为模拟系统故障诊断提供了新的、强有力的分析手段。 目前的故障诊断技术大都基于傅罩叶变换，因此必然面临傅里叶分析的一对 基本矛盾：时域和频域局部化的矛盾，并且傅晕叶分析是以信号平稳性假设为前 基于小波包和支持向量机的模拟i u 路诊断研究 提的，而绝大多数的控制系统的故障信号往往包含在瞬态信号及时变信号中。小 波的时频分析方法不仅能够提供信号的全部信息，而且又能提供在任一局部时间 内信号变换激烈程度的信息，即可提供时频同时局部化的信息。小波变换已广泛 应用于机械、电力等动态系统的突变故障诊断，但是，将它应用于模拟电路故障 诊断还不多见，最先只有m a m i n i a n 和f a m i n n i a n 将小波变换作为预处理器，电 路的输出信号经小波变换他8 。2 引，提取其低频信号并作p c a 分析后，采样输入到神 经网络，神经网络的输出即为故障元件。此外，小波在模拟电路故障诊断中的应 用主要就是用小波与神经网络结合构成小波神经网络。可见作为在模拟电路故障 诊断中应用，小波变换能被有效地用来提取故障特征信息。 9 0 年代初期，小波理论的一个重大发展是w i c k e r h a u s e r 和c o i f m a n 等提出了 “小波包 的概念口引，即利用推广的双尺度方程，可生成一族包括小波函数在内 的“小波包”函数。它对信号频带的划分突破了小波等q 划分的局限性，即不仅 对低通分量作分解，同时也对高通分量作分解，从而可以聚焦到感兴趣的任意频 段，使对信号的分析更加的灵活方便。小波包是在小波分析基础上发展起来的， 它是在小波分析的基础上，对信号更细的分解。目前，有很多学者研究小波包在 模拟电路故障诊断中的应用h 0 。4 2 1 。 1 5 支持向量机在电路诊断中的应用 基于统计学习理论的支持向量机( s u p p o nv e c t o rm a c h i n e ，s v m ) 是在结构 风险最小化( s r m ) 原则的基础之上发展起来的通用学习方法。该方法通过将输 入空间映射为高维特征空间，从而有效地降低待求解问题的v c 维，寻求经验风 险和置信范围的最小化。s v m 是由b o s e r ，g u y o n ，v a p n i k 钉在c o l t 一9 2 上首次 提出，以其良好的理论背景，s r m 原则为机器学习提供了崭新的方向，作为一种 机器训练和模式识别方法，s v m 在样本的非线性、稀疏性和高维模式识别方面具 有独特的优势。s v m 作为一种针对小样本的模式识别方法，已在诸多领域得到较 好的应用，同时也为故障诊断这种不易取得样本的模式识别问题，提供了较好的 解决方法，并已在故障诊断领域得到实际应用和提供了较好的解决方法。模拟容 差电路的故障特征样本往往具有数量少、数据维数高等特点，应用s v m 进行样 本的训练可以很好的解决分类网络训练速度慢、容易陷入局部极值等缺点。而常 规的诊断方法大都依赖于大样本情况下的统计特性，当训练样本有限时，难以保 证有较好的分类推广性。 目前，s v m 主要应用于模式识别、回归估计领域。s v m 还广泛用于图像处 理，在图像分割、图像检测、图像检索等方面都得到了良好应用，在遥感图像分 析、语音识别、文体分类、三维物体识别中也有较多的应用成果。憎叫引。此外，s v m 在信号处理领域、金融领域都显示出了强大优势。而s v m 在模拟电路故障诊断 硕二 二学位论文 领域的应用研究正逐渐受到研究者的重视，目前已有研究成功地将s v m 用于模 拟电路故障诊断的检测和分类拍4 。37 删。文献 4 0 】提出了用最优小波包和支持向量机 结合的模拟电路故障诊断方法，文献【3 6 】采用可测性分析提取电路故障特征，再 应用s v m 进行故障分类。当前s v m 研究的热点主要是对s v m 算法的优化，包 括解决s v m 中二次规划求解问题对大规模s v m 的求解问题，对s v m 中q p 问 题的求解问题等。另外就是如何更好的构造s v m 的多类分类器，如何提高s v m 的归纳能力和分类速度等，如何根据实际问题确定核函数也是一个重要的研究热 点。最小二乘支持向量机( l s s v m ) 是在s v m 基础上发展起来的，它比s v m 具 有更好的泛化能力。将s v m 或l s s v m 应用到故障诊断领域是一个全新的研究方 向，同时又是一个现实可行的研究方向，开展这方面的研究具有重要的意义，目 前国内外的研究人员都试图在这一领域有所突破。 1 6 论文的主要内容与结构安排 论文共分六个部分，其中： 第1 章：首先概述模拟电路故障诊断的意义及其诊断理论的发展过程与现状 分析，简要分析了现有诊断方法的类别、当前的研究动向以及前景，介绍了本文 所采用的小波包和支持向量机方法在模拟电路故障诊断中的应用及本文的主要工 作。 第2 章：首先介绍了支持向量机与b p 神经网路的结构模型、算法实现及各 自的特点，在此基础上，对比了基于神经网络和支持向量机的模拟电路故障诊断 模型、训练样本输入方法、故障特征提取、学习训练方法以及故障定位策略等。 第3 章：首先介绍了模拟电路故障诊断中特征信息的提取方法、样本构建与 目前现有方法的缺陷，在此研究基础上，提出了基于小波包的故障特征提取方法， 并通过理论分析与诊断实例说明了所提方法的优越性。 第4 章：首先介绍了支持向量机的多类分类基础理论，在此基础上，研究了 多类最小二乘支持向量机的故障诊断模型以及最小二乘支持向量机的参数优化算 法，最后对其基本诊断方法进行了分析研究并提出了诊断实现步骤。 第5 章：首先介绍了模糊准则的基础理论，分析了小波包提取特征导致的故 障诊断缺点，并提出了基于模糊准则优化小波包的改进方法，以解决模拟电路诊 断中故障特征信息海量问题。该法首先采用第三章提出的小波包分解方法，对电 路进行特征信息提取，再结合模糊准则来优化小波包分解，选取分类能力强的子 空问作为特征，可以大大减少训练网络的规模，加快诊断速度，从而实现电路的 高效率诊断。诊断实例验证了方法的正确性。 结论：给出了本论文研究的有关结论及今后的研究工作。 基于小波包和支持向量机的模拟i 【l 路诊断研究 2 1 引言 第2 章模拟电路诊断的支持向量机方法 在模拟电路故障诊断中，目前基于神经网络、模糊等技术的诊断建模都不尽 人意，此类建模都必须先选择模型结构，不能动态调整结构，易陷入局部最优解， 也不能保证最优性，建模之后还需要严格的检验手续。在解决实际问题时，故障 样本数目有限，因此很多在理论成熟的学习方法难以成功地应用于模拟电路故障 诊断实际问题中。制约上述技术向实用化推广的另外一个原因就在于这些技术都 基于经验风险最小化，无法保证充分的样本数量。 与传统统计学相比，统计学习理论是一种专门研究小样本情况下机器学习规 律理论。v a p n i k 【4 3 1 等人从上世纪六七十年代开始致力于研究小样本情况及其学习 规律，直到二十世纪九十年代中期，随着统计学习理论的逐渐成熟，统计学习理 论开始受到重视。统计学习理论是建立在坚实的理论基础上的，为解决有限样本 学习问题提供了一个统一的框架，同时在这一理论基础上发展了一类通用的学习 方法一支持向量机。v a p n i k 等对有限样本情况下机器学习中的一些根本性问题 进行了系统的理论研究，以往很多困扰机器学习方法的问题，比如模型选择与过 学习问题、非线性和维数灾难问题、局部极小点问题等，在这里都得到了很大程 度的解决，支持向量机更充分考虑了算法的推广能力。 本章将首先介绍支持向量机的理论基础h 4 叫6 | ，并介绍神经网络的基本知识陆。 在此基础上，分析支持向量机相对神经网络的优越性，为下述章节奠定理论基础。 2 2 支持向量机理论基础 s v m 是v a p n i k 等根据统计学习理论中的结构风险最小化原则提出的。其主 要内容在19 9 2 到19 9 5 年力基本完成，目前仍处于不断发展阶段。概括地说，s v m 就是通过某种事先选择的非线性映射，将输入空间映射到一个高维特征空间，然 后在特征空间中构造最优分类超平面的实现过程。s v m 其实是一种统计学习方法 用于模式识别、回归估计及密度估计，它是在统计学习理论的基础上发展起来的 一种专门解决小样本学习规律的学习方法。 s v m 在进行故障模式识别时以能最大限度的挖掘隐含在有限样本数据中的 分类信息、并将分类问题转化为一个二次规划问题保证得到全局最优解和巧妙地 通过非线性变换将原空问中的非线性问题转化为高维空间的线性问题，因此，许 多学者认为，s v m 正在成为继神经网络之后在人工智能界的又一个新的研究热 硕 ：学位论文 点，是近两年模拟电路故障诊断中模式分类识别的热点。 2 2 1 支持向量机原理 s v m 是由v a p n i k 和他的合作者共同提出的一套学习算法，是统计学习理论 的一种实现方法，它较好地实现了s r m 原则。s v m 通过引入核函数，将样本向 量映射到高维特征空间，然后在高维空间中构造最优分类面，获得线性最优决策 函数。s v m 可以通过控制超平面的间隔度量来抑制函数的过拟合；通过采用核函 数巧妙解决了维数问题，避免了学习算法计算复杂度与样本维数的直接相关；也 由于s r m 原则的使用，s v m 具有良好的推广能力。 s v m 中最简单也是最早提出的模型是最大间隔分类器，它也是s v m 的主要 模块，展示了这类学习机器的关键特征。最优分类超平面只能用于特征空间中线 性可分的数据，因此不能在许多实际问题中使用，而s v mj 下是由求解线性可分 情况下的最优超平面发展而来的。最优分类超平面在保证将两类样本无错误分开 的情况下，使得两类的分类距离最大。在保证经验风险最小同时，使推广性的界 中的置信范围最小，从而使真实风险最小。其基本思想可用图2 1 的两维情况来 说明3 。 假设对于样本集 丁= ( 五，乃) ，( 薯，只) ) ( x 】，) 7 ， 薯x = r ” ， m 】，= l ，一l ，f = l ，胛，支持向量机寻找一个最优超平面，使它的分类间隔最大。 图2 1 中实心点和空心点分别表示两类样本，h 为把两类没有错误地分开的分类 线，h 1 、h 2 分别为过各类样本中离分类线最近的点且平行于分类线的直线，h l 和h 2 之间的距离叫做两类的分类空隙或分类问隔。 h 2 加= 2 州甜8 图2 1 支持向量机分类示例 设分类线方程舳h 6 - 0 ，y - l 1 池_ + 6 ) 】 叫- 1 ，棚，贝i j 分类间隔为高， 使分类间隔最大等价于使忪8 最小，因此满足此条件且使毕最小的分类线就是最 基于小波包和支持向量机的模拟l 【i 路诊断研究 优分类线，h 1 、h 2 上的训练样本点为支持向量。支持向量机通过对分类间隔最 大化来控制泛化能力，这正是支持向量机的特色。将二维空问推广到高维空间， 最优分类线就成为最优分类面，即最优超平面。 2 2 2 支持向量机分类方法 2 2 2 1 线性分类 s v m 定义最优线性超平面，并把寻找最优线性超平面转化为求解二次规划问 题，进而基于m e r c e r 定理，通过非线性映射，把样本空间映射到高维特征空间， 从而使用线性方法解决样本空间中的高度非线性问题。 支持向量机是针对两类别分类提出的。假设给定训练样本 ，咒) ，扛1 ，毛灭d ，乃 一1 ，1 ) ，存在分类超平面缈x + 6 = o ，为使分类面对所有 样本正确分类且具备分类间隔，必须满足： 只【( 缈) + 6 卜1 0 ( 2 1 ) 可以计算出分类间隔为： 。骝。，箐一。骝”菁2 赢 2 ， t 掣- ，可矿一c 掣”咱厂2 耐 心2 ) 要求最大分类间隔南，即要求最小化忪i i o 则求解最优分类超平面问题就可 归l i ” 以表示成约束优化问题，即在式( 2 2 ) 的约束下，最小化函数： 甲( 彩) ：丢。缈1 1 2 ：丢( 缈缈) ( 2 3 ) 弓l 入l a g r a n g e 函数： = 去0 缈1 1 2 一q 只( ( 彩薯) + 6 ) + ( 2 4 ) 其中，为l a g r a n g e 系数。将式( 2 4 ) 分别对缈和6 求偏导并令其等于o ，就 可以将上述问题转化为简单的对偶问题。 罢一扣删 5 ， 芸一喜m = o 将式( 2 4 ) 和式( 2 5 ) 带人式( 2 3 ) 中，即可得到对偶最优化问题，求解下列函数 的最大值： ( 口) = q 一去q 口，”乃( 薯一) ( 2 6 ) s ， 只【( 缈薯) + 6 】一1 0 ( 2 7 ) 只q = o ( 2 8 ) 硕l ：学位论文 o ，汪1 ， ( 2 9 ) 这是一个不等式约束下的二次函数极值问题( q u a d r a t i cp r o g r a m m i n g ，q p ) 。 根据k a r u s h k u h n t u c k e r ( k k t ) 条件，该优化问题的解必须满足： q 只 ( 国薯) + 6 卜1 ) = o ，f = l ， ( 2 10 ) 因此，多数样本对应的是为o 的，把0 对应于使式( 2 2 ) 中等号成立的 样本称为支持向量( s v s ) 。在支持向量机算法中，支持向量是训练集中的关键元素， 它们离决策边界最近。如果去掉其他所有的训练样本，再重新进行训练，将得到 相同的分类面。 求解上述二次规划问题后，则分类决策函数可表示为： r 。 m ) = s g n ( 缈x ) + 6 。 = s g n l 西”( 薯x ) + 6 | ( 2 1 1 ) l ，= lj 式中的求和只对支持向量进行，即只有不为零的口，对应的训练样本决定分类 结果，而其他样本与分类结果无关。6 + 是分类阈值。 当训练样本集为线性不可分时，引人非负松弛变量专，汪1 ，分类超平面 的最优问题为： 嗍狮1 2 + c 喜毒 其对偶问题为对口求解下列函数的最大值： ( 2 1 2 ) 一去q 乃乃( _ ) ( 2 1 3 ) j j 只【( 缈一) + 6 】l 一缶 ( 2 1 4 ) m = o ( 2 1 5 ) 0 c ，专o ，f = l ， ( 2 16 ) 其中c 0 是一个常数，称为误差惩罚参数，它控制对错分样本惩罚的程度； 考是在训练样本线性不可分时引入的非负松弛变量。 2 2 2 2 非线性分类 对于非线性分类问题，则采用适当的内积函数k ( ，x ，) 就可以实现某一非线 性变换后的线性分类，此时优化的目标函数变为： q ( 口) = q 一去呸巴只乃k ( ，_ ) ( 2 17 ) 而相应的分类决策函数表示为： 厂c x ，= s g n 喜茸z k c ，_ ，+ 6 c2 - 8 ， lj = lj 基于小波包和支持向量机的模拟l u 路诊断研究 以上的分类决策函数就是支持向量机。 可以看到，把原问题转化为对偶问题，使得计算的复杂度不再取决于空间维 数，而是取决于样本数，尤其是样本中的支持向量数，支持向量机的这个特点使 它能有效的对付高维问题。在构造判别函数时，不是对输入空间的样本作非线性 变换，然后在特征空间中求解，而是先在输入空间比较向量，对结果再作非线性 变换。这样，大的工作量将在输入空间而不是在高维特征空间中完成。s v m 分类 函数形式上类似于一个神经网络，输出是s 中间节点的线性组合，每个中间节点 对应一个支持向量，如图2 2 所示6 l 。 一 j 2一 图2 2 支持向量机示意图 2 2 3 模型选择的意义 支持向量机分类算法中的模型选择问题即对于某一给定的问题，如何寻找到 最适合的核函数，其中包括核函数类型的确定、核参数的优化以及针对具体给定 数据的核函数的修正等方面州6 。模型选择显著影响学习机器泛化性能的好坏， 在设计支持向量机分类器时，常常会因为使用不合适的参数而导致分类过程失败， 致使分类器无法满足实际应用的要求。因此支持向量机模型的选择，常被认为是 s v m 从理论走向实际应用的一个关键问题，这也是在设计s v m 分类器时首先要 面临的问题。 在支持向量机的问题表达和求解算法中包含几个待定的设计参数：一是核函 数的种类及其参数；一是正规化参数c 。核函数间接地描述了支持向量机的高维 特征空间，参数c 用来平衡模型复杂度和经验风险值。这些参数的确定对支持向 量机的学习性能和计算复杂性有很大的影响。合理的参数值可以使支持向量机具 有更高的训练精度以及更强的推广能力；不合理的参数值则能降低支持向量机的 学习能力和推广能力。 支持向量机在实际应用中关于参数选择的问题仍然没有得到很好的